Išlyginus gauname tokios formos funkciją: g (x) = x + 1 3 + 1 .
Šiuos duomenis galime aproksimuoti naudodami tiesinį ryšį y = a x + b, apskaičiuodami atitinkamus parametrus. Norėdami tai padaryti, turėsime taikyti vadinamąjį mažiausių kvadratų metodą. Taip pat turėsite padaryti brėžinį, kad patikrintumėte, kuri linija geriausiai suderins eksperimentinius duomenis.
Yandex.RTB R-A-339285-1
Kas tiksliai yra OLS (mažiausių kvadratų metodas)
Pagrindinis dalykas, kurį turime padaryti, yra rasti tokius tiesinės priklausomybės koeficientus, kuriems esant dviejų kintamųjų F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 funkcijos reikšmė būtų mažiausias. Kitaip tariant, esant tam tikroms a ir b reikšmėms, pateiktų duomenų kvadratinių nuokrypių nuo gautos tiesės suma turės mažiausią reikšmę. Tai yra mažiausių kvadratų metodo reikšmė. Viskas, ką turime padaryti, kad išspręstume pavyzdį, tai rasti dviejų kintamųjų funkcijos ekstremumą.
Kaip išvesti koeficientų skaičiavimo formules
Norint išvesti koeficientų skaičiavimo formules, reikia sukurti ir išspręsti lygčių sistemą su dviem kintamaisiais. Norėdami tai padaryti, apskaičiuojame išraiškos F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 dalines išvestines a ir b atžvilgiu ir prilyginame jas 0.
δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i
Norėdami išspręsti lygčių sistemą, galite naudoti bet kokius metodus, pavyzdžiui, pakeitimą arba Cramerio metodą. Dėl to turėtume turėti formules, pagal kurias būtų galima apskaičiuoti koeficientus naudojant mažiausių kvadratų metodą.
n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n i = 1 n - i i = 1 n x i 2 b = ∑ i = 1 n ∑ i = 1 n ∑ y
Mes apskaičiavome kintamųjų, kuriuose veikia funkcija, reikšmes
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 įgis mažiausią reikšmę. Trečioje pastraipoje įrodysime, kodėl taip yra.
Tai mažiausių kvadratų metodo taikymas praktikoje. Jo formulė, kuri naudojama norint rasti parametrą a, apima ∑ i = 1 n x i, ∑ i = 1 n y i, ∑ i = 1 n x i y i, ∑ i = 1 n x i 2, taip pat parametrą
n – žymi eksperimentinių duomenų kiekį. Patariame kiekvieną sumą skaičiuoti atskirai. Koeficiento b reikšmė apskaičiuojama iš karto po a.
Grįžkime prie pradinio pavyzdžio.
1 pavyzdys
Čia mes turime n lygų penkiems. Kad būtų patogiau apskaičiuoti reikiamas sumas, įtrauktas į koeficientų formules, užpildykime lentelę.
| i = 1 | i=2 | i=3 | i=4 | i=5 | ∑ i = 15 | |
| x i | 0 | 1 | 2 | 4 | 5 | 12 |
| y i | 2 , 1 | 2 , 4 | 2 , 6 | 2 , 8 | 3 | 12 , 9 |
| x i y i | 0 | 2 , 4 | 5 , 2 | 11 , 2 | 15 | 33 , 8 |
| x i 2 | 0 | 1 | 4 | 16 | 25 | 46 |
Sprendimas
Ketvirtoje eilutėje pateikiami duomenys, gauti padauginus antrosios eilutės reikšmes iš trečiosios vertės kiekvienam asmeniui, t. Penktoje eilutėje yra duomenys iš antrosios, kvadratu. Paskutiniame stulpelyje rodomos atskirų eilučių verčių sumos.
Naudokime mažiausių kvadratų metodą, kad apskaičiuotume mums reikalingus koeficientus a ir b. Norėdami tai padaryti, pakeiskite reikiamas vertes iš paskutinio stulpelio ir apskaičiuokite sumas:
n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - i i = 1 n x i 2 b = a i = 1 a n i = 1 n 1 n y 5 33, 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184
Pasirodo, kad reikiama apytikslė tiesė atrodys taip, kaip y = 0, 165 x + 2, 184. Dabar turime nustatyti, kuri eilutė geriau apytiksliai atitiks duomenis - g (x) = x + 1 3 + 1 arba 0, 165 x + 2, 184. Įvertinkime mažiausiųjų kvadratų metodą.
Norėdami apskaičiuoti paklaidą, turime rasti duomenų kvadratinių nuokrypių sumą nuo tiesių σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 ir σ 2 = ∑ i = 1 n (y i) - g (x i)) 2, mažiausia reikšmė atitiks tinkamesnę eilutę.
σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0, 165 x i + 2, 184)) 2 ≈ 0, 019 σ 2 = ∑ 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0,096
Atsakymas: nuo σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0,165 x + 2,184.
Mažiausių kvadratų metodas aiškiai parodytas grafinėje iliustracijoje. Raudona linija žymi tiesę g (x) = x + 1 3 + 1, mėlyna linija žymi y = 0, 165 x + 2, 184. Pradiniai duomenys pažymėti rausvais taškais.
Paaiškinkime, kodėl reikalingi būtent tokio tipo aproksimacijos.
Jie gali būti naudojami atliekant užduotis, kurioms reikalingas duomenų išlyginimas, taip pat tose, kur duomenis reikia interpoliuoti arba ekstrapoliuoti. Pavyzdžiui, aukščiau aptartoje užduotyje galima rasti stebimo dydžio y reikšmę, kai x = 3 arba kai x = 6. Tokiems pavyzdžiams skyrėme atskirą straipsnį.
OLS metodo įrodymas
Kad funkcija įgautų mažiausią reikšmę, kai apskaičiuojami a ir b, būtina, kad tam tikrame taške formos F (a, b) formos diferencialo kvadratinės formos matrica = ∑ i = 1 n (y i - (a x i + b)) 2 yra teigiamas apibrėžtasis. Parodykime, kaip jis turėtų atrodyti.
2 pavyzdys
Turime šios formos antros eilės skirtumą:
d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2 b
Sprendimas
δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a; b) δ a δ b = δ δ F (a; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n
Kitaip tariant, galime parašyti taip: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b.
Gavome kvadratinės formos M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n matricą.
Šiuo atveju atskirų elementų reikšmės nesikeis priklausomai nuo a ir b . Ar ši matrica yra teigiama? Norėdami atsakyti į šį klausimą, patikrinkime, ar jo kampiniai nepilnamečiai yra teigiami.
Apskaičiuojame pirmos eilės kampinį minorą: 2 ∑ i = 1 n (x i) 2 > 0 . Kadangi taškai x i nesutampa, nelygybė yra griežta. Tai atsižvelgsime į tolesnius skaičiavimus.
Apskaičiuojame antros eilės kampinį minorą:
d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - 12 n i = i
Po to imame įrodinėti nelygybę n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0, naudojant matematinę indukciją.
- Patikrinkime, ar ši nelygybė galioja savavališkai n. Paimkime 2 ir apskaičiuokime:
2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0
Gavome teisingą lygybę (jei reikšmės x 1 ir x 2 nesutampa).
- Darykime prielaidą, kad ši nelygybė bus teisinga n, t.y. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – tiesa.
- Dabar įrodysime pagrįstumą n + 1, t.y. kad (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, jei n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .
Skaičiuojame:
(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - i = 1 n x i 2 + n x n + 1 2 - x n + 1 + i = 1 n x n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1) - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0
Išraiška, esanti riestiniuose skliaustuose, bus didesnė nei 0 (remiantis tuo, ką padarėme 2 veiksme), o likę terminai bus didesni nei 0, nes jie visi yra skaičių kvadratai. Mes įrodėme nelygybę.
Atsakymas: rasti a ir b atitiks mažiausią funkcijos reikšmę F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, tai reiškia, kad jie yra būtini mažiausių kvadratų metodo parametrai (LSM).
Jei tekste pastebėjote klaidą, pažymėkite ją ir paspauskite Ctrl+Enter
Mažiausio kvadrato metodas naudojami regresijos lygties parametrams įvertinti.Vienas iš metodų tiriant stochastinius ryšius tarp charakteristikų yra regresinė analizė.
Regresinė analizė – tai regresinės lygties išvedimas, kurios pagalba randama atsitiktinio dydžio (rezultato požymio) vidutinė reikšmė, jei žinoma kitų (ar kitų) kintamųjų (veiksnių-atributų) reikšmė. Tai apima šiuos veiksmus:
- ryšio formos parinkimas (analitinės regresijos lygties tipas);
- lygties parametrų įvertinimas;
- analitinės regresijos lygties kokybės įvertinimas.
Tiesinio porinio ryšio atveju regresijos lygtis bus tokia: y i =a+b·x i +u i . Šios lygties parametrai a ir b įvertinti pagal statistinių stebėjimų duomenis x ir y. Tokio vertinimo rezultatas yra lygtis: , kur , yra parametrų a ir b įverčiai, yra gauto požymio (kintamojo), gauto iš regresijos lygties, reikšmė (apskaičiuota reikšmė).
Dažniausiai naudojamas parametrams įvertinti Mažiausių kvadratų metodas (LSM).
Mažiausių kvadratų metodas pateikia geriausius (nuoseklius, efektyvius ir nešališkus) regresijos lygties parametrų įverčius. Bet tik tuo atveju, jei tenkinamos tam tikros prielaidos dėl atsitiktinio termino (u) ir nepriklausomo kintamojo (x) (žr. OLS prielaidas).
Tiesinės poros lygties parametrų įvertinimo mažiausių kvadratų metodu problema yra taip: gauti tokius parametrų įverčius , , kai gaunamos charakteristikos - y i - faktinių verčių kvadratinių nuokrypių suma nuo apskaičiuotų verčių yra minimali.
Formaliai OLS testas galima parašyti taip: 
.
Mažiausių kvadratų metodų klasifikacija
- Mažiausio kvadrato metodas.
- Didžiausios tikimybės metodas (normaliam klasikiniam tiesinės regresijos modeliui postuluojamas regresijos liekanų normalumas).
- Apibendrintas mažiausių kvadratų OLS metodas naudojamas klaidų autokoreliacijos ir heteroskedastikos atveju.
- Svertinių mažiausių kvadratų metodas (ypatingas OLS atvejis su heteroskedastiniais likučiais).
Iliustruojame esmę klasikinis mažiausių kvadratų metodas grafiškai. Tam, remdamiesi stebėjimo duomenimis (x i, y i, i=1;n), sudarysime sklaidos grafiką stačiakampėje koordinačių sistemoje (toks sklaidos grafikas vadinamas koreliacijos lauku). Pabandykime pasirinkti tiesę, kuri yra arčiausiai koreliacijos lauko taškų. Pagal mažiausių kvadratų metodą tiesė parenkama taip, kad vertikalių atstumų tarp koreliacijos lauko taškų ir šios tiesės kvadratų suma būtų minimali. 
Matematinis šios problemos žymėjimas: 
.
Mums žinomos y i ir x i =1...n reikšmės, tai yra stebėjimo duomenys. S funkcijoje jie reiškia konstantas. Šios funkcijos kintamieji yra būtini parametrų įverčiai - , . Norint rasti dviejų kintamųjų funkcijos minimumą, reikia kiekvienam iš parametrų apskaičiuoti šios funkcijos dalines išvestines ir prilyginti jas nuliui, t.y. 
.
Dėl to gauname 2 normalių tiesinių lygčių sistemą: 
Išspręsdami šią sistemą, randame reikiamus parametrų įvertinimus: 
Regresijos lygties parametrų skaičiavimo teisingumą galima patikrinti lyginant sumas (dėl skaičiavimų apvalinimo gali atsirasti tam tikras neatitikimas).
Norėdami apskaičiuoti parametrų įvertinimus, galite sudaryti 1 lentelę.
Regresijos koeficiento b ženklas rodo ryšio kryptį (jei b >0, ryšys tiesioginis, jei b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Formaliai parametro a reikšmė yra vidutinė y reikšmė, kai x lygi nuliui. Jei atributo faktorius neturi ir negali turėti nulinės reikšmės, tai aukščiau pateiktas parametro a aiškinimas neturi prasmės.
Požymių santykio glaudumo vertinimas
atlikta naudojant tiesinės poros koreliacijos koeficientą - r x,y. Jį galima apskaičiuoti naudojant formulę: 
. Be to, tiesinės poros koreliacijos koeficientą galima nustatyti naudojant regresijos koeficientą b: 
.
Tiesinės poros koreliacijos koeficiento priimtinų verčių diapazonas yra nuo –1 iki +1. Koreliacijos koeficiento ženklas rodo ryšio kryptį. Jei r x, y >0, tai ryšys yra tiesioginis; jei r x, y<0, то связь обратная.
Jei šis koeficientas yra artimas vienetui pagal dydį, tada charakteristikų santykis gali būti interpretuojamas kaip gana artimas tiesinis. Jei jo modulis lygus vienam ê r x , y ê =1, tai ryšys tarp charakteristikų yra funkcinis tiesinis. Jei požymiai x ir y yra tiesiškai nepriklausomi, tai r x,y yra artimas 0.
Norėdami apskaičiuoti r x,y, taip pat galite naudoti 1 lentelę.
1 lentelė
| N pastebėjimų | x i | y i | x i ∙y i | ||
| 1 | x 1 | y 1 | x 1 y 1 | ||
| 2 | x 2 | y 2 | x 2 y 2 | ||
| ... | |||||
| n | x n | y n | x n y n | ||
| Stulpelio suma | ∑x | ∑y | ∑xy | ||
| Vidutinė vertė |
 |
 |
,
čia d 2 yra y dispersija, paaiškinta regresijos lygtimi;
e 2 - liekamoji (nepaaiškinta regresijos lygtimi) y dispersija;
s 2 y – bendra (bendra) y dispersija.
Determinacijos koeficientas apibūdina gauto požymio y kitimo (dispersijos), paaiškinamo regresija (taigi ir faktoriumi x), proporciją bendroje variacijoje (dispersijoje) y. Determinacijos koeficientas R 2 yx įgauna reikšmes nuo 0 iki 1. Atitinkamai, reikšmė 1-R 2 yx apibūdina dispersijos y proporciją, kurią sukelia kitų faktorių, į kuriuos neatsižvelgta modelio ir specifikacijos klaidų, įtakos.
Su porine tiesine regresija R 2 yx =r 2 yx.
Paprastųjų mažiausių kvadratų (OLS) metodas- matematinis metodas, naudojamas įvairiems uždaviniams spręsti, pagrįstas tam tikrų funkcijų kvadratinių nuokrypių nuo norimų kintamųjų sumos sumažinimu. Jis gali būti naudojamas „išspręsti“ per daug apibrėžtas lygčių sistemas (kai lygčių skaičius viršija nežinomųjų skaičių), ieškant sprendinių įprastų (ne per daug apibrėžtų) netiesinių lygčių sistemų atveju, apytiksliai apytiksliai apytiksliai nustatyti kai kurių lygčių reikšmes. funkcija. OLS yra vienas iš pagrindinių regresinės analizės metodų, leidžiančių įvertinti nežinomus regresijos modelių parametrus iš imties duomenų.
Enciklopedinis „YouTube“.
1 / 5
✪ Mažiausių kvadratų metodas. Tema
✪ Mažiausių kvadratų metodas, 1/2 pamoka. Linijinė funkcija
✪ Ekonometrija. 5 paskaita. Mažiausių kvadratų metodas
✪ Mitin I.V. – fizinių rezultatų apdorojimas. eksperimentas – Mažiausių kvadratų metodas (4 paskaita)
✪ Ekonometrija: 2 mažiausių kvadratų metodo esmė
Subtitrai
Istorija
Iki XIX amžiaus pradžios. mokslininkai neturėjo tam tikrų taisyklių, kaip išspręsti lygčių sistemą, kurioje nežinomųjų skaičius yra mažesnis už lygčių skaičių; Iki tol buvo naudojamos privačios technikos, kurios priklausė nuo lygčių tipo ir skaičiuoklių sąmojingumo, todėl skirtingi skaičiuotuvai, remdamiesi tais pačiais stebėjimų duomenimis, priėjo prie skirtingų išvadų. Gaussas (1795) pirmasis panaudojo metodą, o Legendre (1805) savarankiškai atrado ir paskelbė jį šiuolaikiniu pavadinimu (pranc. Méthode des moindres quarrés). Laplasas šį metodą susiejo su tikimybių teorija, o amerikiečių matematikas Adrainas (1808) svarstė jo tikimybių teorijos taikymą. Metodas buvo plačiai paplitęs ir patobulintas tolesnių Encke, Besselio, Hanseno ir kitų tyrimų.
Mažiausių kvadratų metodo esmė
Leisti x (\displaystyle x)- rinkinys n (\displaystyle n) nežinomi kintamieji (parametrai), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- funkcijų rinkinys iš šio kintamųjų rinkinio. Užduotis yra pasirinkti tokias reikšmes x (\displaystyle x), kad šių funkcijų reikšmės būtų kuo artimesnės tam tikroms reikšmėms y i (\displaystyle y_(i)). Iš esmės mes kalbame apie per daug apibrėžtos lygčių sistemos „sprendimą“. f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) nurodyta didžiausio kairiosios ir dešiniosios sistemos dalių artumo prasme. Mažiausių kvadratų metodo esmė yra pasirinkti kaip „artumo matą“ kairiosios ir dešiniosios kraštinių nuokrypių kvadratų sumą. | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Taigi MNC esmė gali būti išreikšta taip:
∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\rodyklė dešinėn \min _(x)).Jei lygčių sistema turi sprendinį, tai kvadratų sumos minimumas bus lygus nuliui ir tikslius lygčių sistemos sprendinius galima rasti analitiškai arba, pavyzdžiui, naudojant įvairius skaitinio optimizavimo metodus. Jei sistema yra per daug apibrėžta, tai yra, laisvai kalbant, nepriklausomų lygčių skaičius yra didesnis nei norimų kintamųjų, tai sistema neturi tikslaus sprendimo ir mažiausių kvadratų metodas leidžia rasti kokį nors „optimalų“ vektorių. x (\displaystyle x) vektorių maksimalaus artumo prasme y (\displaystyle y) Ir f (x) (\displaystyle f(x)) arba maksimalus nuokrypio vektoriaus artumas e (\displaystyle e) iki nulio (artumas suprantamas euklido nuotolio prasme).
Pavyzdys – tiesinių lygčių sistema
Visų pirma, mažiausių kvadratų metodas gali būti naudojamas tiesinių lygčių sistemai „išspręsti“.
A x = b (\displaystyle Ax=b),Kur A (\displaystyle A) stačiakampio dydžio matrica m × n , m > n (\displaystyle m\times n,m>n)(t.y. matricos A eilučių skaičius yra didesnis nei ieškomų kintamųjų).
Bendruoju atveju tokia lygčių sistema neturi sprendimo. Todėl šią sistemą galima „išspręsti“ tik pasirinkus tokį vektorių x (\displaystyle x) sumažinti „atstumą“ tarp vektorių A x (\displaystyle Axe) Ir b (\displaystyle b). Norėdami tai padaryti, galite taikyti sistemos lygčių kairiosios ir dešiniosios pusės skirtumų kvadratų sumos sumažinimo kriterijų, ty (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rodyklė dešinėn \min ). Nesunku parodyti, kad išsprendus šią minimalizavimo problemą galima išspręsti šią lygčių sistemą
A T A x = A T b ⇒ x = (AT A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Rodyklė dešinėn x=(A^(T)A)^(-1)A^ (T)b).OLS regresinėje analizėje (apytikslis duomenų)
Tebūnie n (\displaystyle n) kai kurių kintamųjų reikšmės y (\displaystyle y)(tai gali būti stebėjimų, eksperimentų ir kt. rezultatai) ir susijusius kintamuosius x (\displaystyle x). Iššūkis yra užtikrinti, kad santykiai tarp y (\displaystyle y) Ir x (\displaystyle x) apytikslis pagal kokią nors žinomą funkciją kai kurių nežinomų parametrų ribose b (\displaystyle b) ty iš tikrųjų raskite geriausias parametrų vertes b (\displaystyle b), maksimaliai aproksimuojant reikšmes f (x, b) (\displaystyle f(x,b)) prie faktinių verčių y (\displaystyle y). Tiesą sakant, tai susiję su per daug apibrėžtos lygčių sistemos „išsprendimu“ b (\displaystyle b):
F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).
Regresinėje analizėje ir ypač ekonometrijoje naudojami tikimybiniai kintamųjų priklausomybės modeliai.
Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),
Kur ε t (\displaystyle \varepsilon _(t))- taip vadinamas atsitiktinių klaidų modeliai.
Atitinkamai, stebimų verčių nuokrypiai y (\displaystyle y) iš modelio f (x, b) (\displaystyle f(x,b)) jau daroma prielaida pačiame modelyje. Mažiausių kvadratų metodo (paprastojo, klasikinio) esmė – rasti tokius parametrus b (\displaystyle b), kurioje nuokrypių kvadratų suma (klaidos, regresijos modeliams jos dažnai vadinamos regresijos likučiais) e t (\displaystyle e_(t)) bus minimalus:
b ^ O L S = arg min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),Kur R S S (\displaystyle RSS)- Anglų Likutinė kvadratų suma apibrėžiama taip:
R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\suma _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).Bendru atveju ši problema gali būti išspręsta skaitmeninio optimizavimo (miniminimo) metodais. Šiuo atveju jie kalba apie netiesiniai mažieji kvadratai(NLS arba NLLS – angl. Non-linear Least Squares). Daugeliu atvejų galima gauti analitinį sprendimą. Norint išspręsti minimizavimo problemą, reikia rasti stacionarius funkcijos taškus R S S (b) (\displaystyle RSS(b)), skiriant jį pagal nežinomus parametrus b (\displaystyle b), prilygindami išvestines nuliui ir išsprendę gautą lygčių sistemą:
∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\rodymo stilius \suma _(t=1)^(n)(y_(t)-f(x_) (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).OLS tiesinės regresijos atveju
Tegul regresijos priklausomybė yra tiesinė:
y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).Leisti y yra paaiškinamo kintamojo stebėjimų stulpelio vektorius ir X (\displaystyle X)- Tai (n × k) (\displaystyle ((n\times))))- faktoriaus stebėjimų matrica (matricos eilutės yra tam tikro stebėjimo faktorių reikšmių vektoriai, stulpeliai yra tam tikro faktoriaus reikšmių vektorius visuose stebėjimuose). Tiesinio modelio matricos vaizdavimas turi tokią formą:
y = X b + ε (\displaystyle y=Xb+\varepsilon ).Tada paaiškinamo kintamojo įverčių vektorius ir regresijos likučių vektorius bus lygūs
y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).Atitinkamai, regresijos likučių kvadratų suma bus lygi
R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).Šios funkcijos diferencijavimas pagal parametrų vektorių b (\displaystyle b) o išvestines prilyginus nuliui, gauname lygčių sistemą (matricos pavidalu):
(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).Iššifruotoje matricos formoje ši lygčių sistema atrodo taip:
(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x x t 2 x t 3 k 3 x t 3 … ∑ ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2 … ∑ x t k 2) (b 3 1 b) t ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\suma x_(t1)x_(tk)\\\suma x_(t2)x_(t1)&\suma x_(t2)^(2)&\suma x_(t2)x_(t3)&\ltaškai &\ suma x_(t2)x_(tk)\\\suma x_(t3)x_(t1)&\suma x_(t3)x_(t2)&\suma x_(t3)^(2)&\ltaškai &\suma x_ (t3)x_(tk)\\\vtaškai &\vtaškai &\vtaškai &\dtaškai &\vtaškai \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ltaškai &\sum x_(tk)^(2)\\\end(pmatrica))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vtaškai \\\sum x_(tk)y_(t)\\\end(pmatrica)),) kur visos sumos perimamos per visas galiojančias reikšmes t (\displaystyle t).
Jei į modelį įtraukta konstanta (kaip įprasta), tada x t 1 = 1 (\displaystyle x_(t1) = 1) visų akivaizdoje t (\displaystyle t), todėl lygčių sistemos matricos viršutiniame kairiajame kampe yra stebėjimų skaičius n (\displaystyle n), o likusiuose pirmosios eilutės ir pirmojo stulpelio elementuose - tiesiog kintamųjų reikšmių sumos: ∑ x t j (\displaystyle \sum x_(tj)) o pirmasis dešiniosios sistemos pusės elementas yra ∑ y t (\displaystyle \sum y_(t)).
Šios lygčių sistemos sprendimas pateikia bendrą tiesinio modelio mažiausių kvadratų įverčių formulę:
b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T) )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).Analitiniais tikslais naudingas paskutinis šios formulės atvaizdas (lygčių sistemoje dalinant iš n vietoj sumų atsiranda aritmetiniai vidurkiai). Jei regresijos modelyje duomenys centre, tai šiame vaizde pirmoji matrica turi imties kovariacijos matricos reikšmę, o antroji yra faktorių kovariacijų vektorius su priklausomu kintamuoju. Jei papildomai duomenys taip pat normalizuotasį MSE (tai yra galiausiai standartizuoti), tada pirmoji matrica turi veiksnių imties koreliacijos matricos reikšmę, antrasis vektorius - veiksnių imties koreliacijų vektorius su priklausomu kintamuoju.
Svarbi modelių OLS įverčių savybė su pastoviu- sudarytos regresijos linija eina per imties duomenų svorio centrą, tai yra, lygybė yra įvykdyta:
y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\hat (b))_(j)(\bar (x))_(j)).Ypač kraštutiniu atveju, kai vienintelis regresorius yra konstanta, nustatome, kad vienintelio parametro (pačios konstantos) OLS įvertis yra lygus vidutinei paaiškinamo kintamojo vertei. Tai yra, aritmetinis vidurkis, žinomas dėl savo gerųjų savybių iš didelių skaičių dėsnių, taip pat yra mažiausių kvadratų įvertis – jis atitinka minimalios kvadratinių nukrypimų nuo jo sumos kriterijų.
Paprasčiausi ypatingi atvejai
Porinės tiesinės regresijos atveju y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), įvertinus tiesinę vieno kintamojo priklausomybę nuo kito, skaičiavimo formulės supaprastinamos (galima apsieiti ir be matricinės algebros). Lygčių sistema yra tokia:
(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline (xy))\\\end(pmatrix))).Iš čia lengva rasti koeficientų įverčius:
( b ^ = Cov (x , y) Var (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2, a ^ = y ¯ − b x . (\displaystyle (\begin(cases)) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline) (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(atvejai)))Nepaisant to, kad bendrais atvejais pirmenybė teikiama modeliams su konstanta, kai kuriais atvejais iš teorinių svarstymų žinoma, kad konstanta a (\displaystyle a) turi būti lygus nuliui. Pavyzdžiui, fizikoje įtampos ir srovės santykis yra U = I ⋅ R (\displaystyle U=I\cdot R); Matuojant įtampą ir srovę, būtina įvertinti varžą. Šiuo atveju kalbame apie modelį y = b x (\displaystyle y=bx). Šiuo atveju vietoj lygčių sistemos turime vieną lygtį
(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).
Todėl vieno koeficiento įvertinimo formulė turi formą
B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).
Polinominio modelio atvejis
Jei duomenis atitinka vieno kintamojo daugianario regresijos funkcija f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), tada, suvokdamas laipsnius x i (\displaystyle x^(i)) kaip nepriklausomus veiksnius kiekvienam i (\displaystyle i) modelio parametrus galima įvertinti remiantis bendra tiesinio modelio parametrų įvertinimo formule. Norėdami tai padaryti, pakanka atsižvelgti į bendrąją formulę, kad su tokiu aiškinimu x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) Ir x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Todėl matricos lygtys šiuo atveju bus tokios formos:
(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x t 2 … ∑ n x t k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 k 1 x b t k + 1 k … ] = [ ∑ n y t ∑ n x t y t ⋮ ∑ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vtaškai & \vtaškai &\dtaškai &\vtaškai \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ltaškai &\ suma \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vtaškai \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrica)).
Statistinės OLS įverčių savybės
Visų pirma pažymime, kad tiesiniams modeliams OLS įverčiai yra tiesiniai įverčiai, kaip matyti iš aukščiau pateiktos formulės. Nešališkiems OLS įverčiams būtina ir pakanka įvykdyti svarbiausią regresinės analizės sąlygą: atsitiktinės paklaidos matematinis lūkestis, priklausantis nuo faktorių, turi būti lygus nuliui. Ši sąlyga visų pirma tenkinama, jei
- atsitiktinių klaidų matematinis lūkestis lygus nuliui, ir
- faktoriai ir atsitiktinės paklaidos yra nepriklausomi atsitiktiniai kintamieji.
Antroji sąlyga – veiksnių egzogeniškumo sąlyga – yra esminė. Jei ši savybė nesilaikoma, galime manyti, kad beveik bet kokie įverčiai bus itin nepatenkinami: jie net nebus nuoseklūs (tai yra, net ir labai didelis duomenų kiekis neleidžia gauti kokybiškų įverčių šiuo atveju ). Klasikiniu atveju daroma stipresnė prielaida apie veiksnių determinizmą, o ne atsitiktinę paklaidą, kuri automatiškai reiškia, kad egzogeniškumo sąlyga yra įvykdyta. Bendru atveju, kad įverčiai būtų nuoseklūs, pakanka tenkinti egzogeniškumo sąlygą kartu su matricos konvergencija V x (\displaystyle V_(x))į kokią nors nevienetinę matricą, kai imties dydis didėja iki begalybės.
Kad, be nuoseklumo ir nešališkumo, (paprastųjų) mažiausių kvadratų įverčiai taip pat būtų veiksmingi (geriausi tiesinių nešališkų įverčių klasėje), turi būti įvykdytos papildomos atsitiktinės paklaidos savybės:
Šios prielaidos gali būti suformuluotos atsitiktinių klaidų vektoriaus kovariacijos matricai V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).
Šias sąlygas tenkinantis tiesinis modelis vadinamas klasikinis. Klasikinės tiesinės regresijos OLS įverčiai yra nešališki, nuoseklūs ir veiksmingiausi visų tiesinių nešališkų įverčių klasėje (anglų literatūroje santrumpa kartais vartojama MĖLYNA (Geriausias tiesinis nešališkas įvertinimo įrankis) – geriausias tiesinis nešališkas įvertis; Rusų literatūroje dažniau cituojama Gauso-Markovo teorema). Kaip nesunku parodyti, koeficientų įverčių vektoriaus kovariacijos matrica bus lygi:
V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).
Efektyvumas reiškia, kad ši kovariacijos matrica yra „minimali“ (bet koks tiesinis koeficientų derinys, o ypač patys koeficientai, turi minimalią dispersiją), tai yra, linijinių nešališkų įverčių klasėje geriausi yra OLS įverčiai. Šios matricos įstrižainės elementai – koeficientų įverčių dispersijos – yra svarbūs gautų įverčių kokybės parametrai. Tačiau kovariacijos matricos apskaičiuoti neįmanoma, nes atsitiktinės paklaidos dispersija nežinoma. Galima įrodyti, kad nešališkas ir nuoseklus (klasikiniam tiesiniam modeliui) atsitiktinių paklaidų dispersijos įvertis yra dydis:
S 2 = R S S / (n − k) (\displaystyle s^(2) = RSS/(n-k)).
Pakeitę šią reikšmę į kovariacijos matricos formulę, gauname kovariacijos matricos įvertį. Gauti įvertinimai taip pat yra nešališki ir nuoseklūs. Taip pat svarbu, kad paklaidos dispersijos įvertis (taigi ir koeficientų dispersija) ir modelio parametrų įverčiai būtų nepriklausomi atsitiktiniai dydžiai, todėl galima gauti testų statistiką hipotezėms apie modelio koeficientus tikrinti.
Reikėtų pažymėti, kad jei nesilaikoma klasikinių prielaidų, OLS parametrų įvertinimai nėra patys efektyviausi ir W (\displaystyle W) yra tam tikra simetriška teigiamo apibrėžtojo svorio matrica. Įprasti mažiausi kvadratai yra ypatingas šio metodo atvejis, kai svorio matrica yra proporcinga tapatybės matricai. Kaip žinoma, simetrinėms matricoms (arba operatoriams) yra išplėtimas W = P T P (\displaystyle W=P^(T)P). Todėl nurodytą funkciją galima pavaizduoti taip e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)) ty ši funkcija gali būti pavaizduota kaip kai kurių transformuotų „likučių“ kvadratų suma. Taigi galime išskirti mažiausių kvadratų metodų klasę – LS metodus (Least Squares).
Įrodyta (Aitkeno teorema), kad apibendrintam tiesinės regresijos modeliui (kuriame netaikomi jokie apribojimai atsitiktinių paklaidų kovariacijos matricai) efektyviausi (tiesinių nešališkų įverčių klasėje) yra vadinamieji įverčiai. apibendrinti mažiausių kvadratų (GLS – generalized Least Squares)- LS metodas su svorio matrica, lygia atsitiktinių klaidų atvirkštinei kovariacijos matricai: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).
Galima parodyti, kad tiesinio modelio parametrų GLS įverčių formulė turi formą
B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).
Šių įverčių kovariacijos matrica atitinkamai bus lygi
V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).
Tiesą sakant, OLS esmė slypi tam tikroje (tiesinėje) pirminių duomenų transformacijoje (P) ir įprasto OLS pritaikyme transformuotiems duomenims. Šios transformacijos tikslas yra tas, kad transformuotų duomenų atsitiktinės paklaidos jau tenkintų klasikines prielaidas.
Svertinis OLS
Įstrižainės svorio matricos (taigi ir atsitiktinių paklaidų kovariacijos matricos) atveju turime taip vadinamą svertinį mažiausią kvadratą (WLS). Šiuo atveju modelio likučių kvadratų svertinė suma yra sumažinta, tai yra, kiekvienas stebėjimas gauna „svorį“, kuris yra atvirkščiai proporcingas šio stebėjimo atsitiktinės paklaidos dispersijai: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). Tiesą sakant, duomenys transformuojami pasveriant stebėjimus (padalijus iš sumos, proporcingos apskaičiuotam atsitiktinių klaidų standartiniam nuokrypiui), o svertiniams duomenims taikomas įprastas OLS.
ISBN 978-5-7749-0473-0 .
Mažiausių kvadratų (OLS) metodas leidžia įvertinti įvairius dydžius naudojant daugelio matavimų, kuriuose yra atsitiktinių paklaidų, rezultatus.
Tarptautinių įmonių charakteristikos
Pagrindinė šio metodo idėja yra ta, kad klaidų kvadratų suma yra laikoma problemos sprendimo tikslumo kriterijumi, kurį jie stengiasi sumažinti. Taikant šį metodą, galima naudoti tiek skaitinius, tiek analitinius metodus.
Visų pirma, kaip skaitmeninis įgyvendinimas, mažiausių kvadratų metodas apima kuo daugiau nežinomo atsitiktinio dydžio matavimų. Be to, kuo daugiau skaičiavimų, tuo tikslesnis bus sprendimas. Remiantis šiuo skaičiavimų rinkiniu (pradiniais duomenimis), gaunamas kitas įvertintų sprendimų rinkinys, iš kurio vėliau atrenkamas geriausias. Jei sprendinių rinkinys yra parametrizuotas, mažiausių kvadratų metodas bus sumažintas iki optimalios parametrų reikšmės.
Kaip analitinis požiūris į LSM įgyvendinimą pradinių duomenų (matavimų) ir laukiamų sprendimų rinkinio pagrindu, nustatomas tam tikras (funkcinis), kurį galima išreikšti formule, gauta kaip tam tikra hipotezė, kurią reikia patvirtinti. Šiuo atveju mažiausiųjų kvadratų metodas yra susijęs su šios funkcijos minimumo nustatymu pirminių duomenų kvadratų klaidų rinkinyje.
Atkreipkite dėmesį, kad tai ne pačios klaidos, o klaidų kvadratai. Kodėl? Faktas yra tas, kad dažnai matavimų nukrypimai nuo tikslios vertės yra teigiami ir neigiami. Nustatant vidurkį, paprastas sumavimas gali lemti neteisingą išvadą apie įvertinimo kokybę, nes teigiamų ir neigiamų verčių panaikinimas sumažins kelių matavimų atrankos galią. Ir, atitinkamai, vertinimo tikslumas.
Kad taip neatsitiktų, kvadratiniai nuokrypiai sumuojami. Be to, norint suvienodinti išmatuotos vertės ir galutinio įvertinimo matmenis, išgaunama klaidų kvadratų suma
Kai kurios MNC programos
MNC plačiai naudojamas įvairiose srityse. Pavyzdžiui, tikimybių teorijoje ir matematinėje statistikoje metodas naudojamas norint nustatyti tokią atsitiktinio dydžio charakteristiką kaip standartinis nuokrypis, kuris nustato atsitiktinio dydžio verčių diapazono plotį.
Mažiausio kvadrato metodas
Mažiausio kvadrato metodas ( OLS, OLS, įprasti mažiausi kvadratai) - vienas iš pagrindinių regresinės analizės metodų nežinomiems regresijos modelių parametrams įvertinti naudojant imties duomenis. Metodas pagrįstas regresijos liekanų kvadratų sumos sumažinimu.
Pažymėtina, kad patį mažiausių kvadratų metodą galima vadinti bet kurios srities uždavinio sprendimo metodu, jei sprendimas slypi arba tenkina kokį nors kriterijų, leidžiantį sumažinti kai kurių reikiamų kintamųjų funkcijų kvadratų sumą. Todėl mažiausių kvadratų metodas taip pat gali būti naudojamas apytiksliui tam tikros funkcijos atvaizdavimui (approksimacijai) kitomis (paprastesnėmis) funkcijomis, ieškant dydžių aibės, atitinkančios lygtis ar apribojimus, kurių skaičius viršija šių dydžių skaičių. ir kt.
MNC esmė
Tegu pateikiamas koks nors (parametrinis) tikimybinio (regresijos) ryšio tarp (paaiškinamo) kintamojo modelis y ir daug veiksnių (aiškinamieji kintamieji) x
kur yra nežinomų modelio parametrų vektorius
- atsitiktinė modelio klaida.Tegul taip pat yra pavyzdiniai šių kintamųjų verčių stebėjimai. Leisti yra stebėjimo numeris (). Tada yra kintamųjų reikšmės stebėjime. Tada, esant nurodytoms parametrų b reikšmėms, galima apskaičiuoti paaiškinamo kintamojo y teorines (modelio) reikšmes:
Likučių dydis priklauso nuo parametrų verčių b.
Mažiausių kvadratų metodo (paprastojo, klasikinio) esmė yra rasti parametrus b, kurių likučių kvadratų suma (angl. Likutinė kvadratų suma) bus minimalus:
Bendru atveju ši problema gali būti išspręsta skaitmeninio optimizavimo (miniminimo) metodais. Šiuo atveju jie kalba apie netiesiniai mažieji kvadratai(NLS arba NLLS – anglų kalba) Netiesiniai mažiausi kvadratai). Daugeliu atvejų galima gauti analitinį sprendimą. Norint išspręsti minimizavimo uždavinį, reikia surasti stacionarius funkcijos taškus, diferencijuojant ją nežinomų parametrų b atžvilgiu, išvestines prilyginant nuliui ir išsprendžiant gautą lygčių sistemą:
Jei modelio atsitiktinės klaidos yra įprastai paskirstytos, turi tą pačią dispersiją ir nėra koreliuojamos, OLS parametrų įvertinimai yra tokie patys kaip didžiausios tikimybės įverčiai (MLM).
OLS tiesinio modelio atveju
Tegul regresijos priklausomybė yra tiesinė:
Leisti y yra paaiškinamo kintamojo stebėjimų stulpelio vektorius ir faktorių stebėjimų matrica (matricos eilutės yra tam tikro stebėjimo faktorių reikšmių vektoriai, stulpeliai yra tam tikro faktoriaus reikšmių vektorius visuose stebėjimuose). Tiesinio modelio matricos vaizdavimas yra toks:
Tada paaiškinamo kintamojo įverčių vektorius ir regresijos likučių vektorius bus lygūs
Atitinkamai, regresijos likučių kvadratų suma bus lygi
Diferencijuodami šią funkciją parametrų vektoriaus atžvilgiu ir išvestines prilygindami nuliui, gauname lygčių sistemą (matricos pavidalu):
.Šios lygčių sistemos sprendimas pateikia bendrą tiesinio modelio mažiausių kvadratų įverčių formulę:
Analitiniais tikslais naudingas pastarasis šios formulės atvaizdas. Jei regresijos modelyje duomenys centre, tai šiame vaizde pirmoji matrica turi imties kovariacijos matricos reikšmę, o antroji yra faktorių kovariacijų vektorius su priklausomu kintamuoju. Jei papildomai duomenys taip pat normalizuotasį MSE (tai yra galiausiai standartizuoti), tada pirmoji matrica turi veiksnių imties koreliacijos matricos reikšmę, antrasis vektorius - veiksnių imties koreliacijų vektorius su priklausomu kintamuoju.
Svarbi modelių OLS įverčių savybė su pastoviu- sudarytos regresijos linija eina per imties duomenų svorio centrą, tai yra, lygybė yra įvykdyta:
Ypač kraštutiniu atveju, kai vienintelis regresorius yra konstanta, nustatome, kad vienintelio parametro (pačios konstantos) OLS įvertis yra lygus vidutinei paaiškinamo kintamojo vertei. Tai yra, aritmetinis vidurkis, žinomas dėl savo gerųjų savybių iš didelių skaičių dėsnių, taip pat yra mažiausių kvadratų įvertis – jis atitinka minimalios kvadratinių nukrypimų nuo jo sumos kriterijų.
Pavyzdys: paprasčiausia (porinė) regresija
Suporuotos tiesinės regresijos atveju skaičiavimo formulės yra supaprastintos (galite apsieiti be matricinės algebros):
OLS įverčių savybės
Visų pirma pažymime, kad tiesiniams modeliams OLS įverčiai yra tiesiniai įverčiai, kaip matyti iš aukščiau pateiktos formulės. Nešališkiems OLS įverčiams būtina ir pakanka įvykdyti svarbiausią regresinės analizės sąlygą: atsitiktinės paklaidos matematinis lūkestis, priklausantis nuo faktorių, turi būti lygus nuliui. Ši sąlyga visų pirma tenkinama, jei
- atsitiktinių klaidų matematinis lūkestis lygus nuliui, ir
- veiksniai ir atsitiktinės paklaidos yra nepriklausomi atsitiktiniai dydžiai.
Antroji sąlyga – veiksnių egzogeniškumo sąlyga – yra esminė. Jei ši savybė nesilaikoma, galime manyti, kad beveik bet kokie įverčiai bus itin nepatenkinami: jie net nebus nuoseklūs (tai yra, net ir labai didelis duomenų kiekis neleidžia gauti kokybiškų įverčių šiuo atveju ). Klasikiniu atveju daroma stipresnė prielaida apie veiksnių determinizmą, o ne atsitiktinę paklaidą, kuri automatiškai reiškia, kad egzogeniškumo sąlyga yra įvykdyta. Bendruoju atveju, kad įverčiai būtų nuoseklūs, pakanka tenkinti egzogeniškumo sąlygą kartu su matricos konvergencija į kokią nors nevienetinę matricą, kai imties dydis didėja iki begalybės.
Kad, be nuoseklumo ir nešališkumo, (paprastųjų) mažiausių kvadratų įverčiai taip pat būtų veiksmingi (geriausi tiesinių nešališkų įverčių klasėje), turi būti įvykdytos papildomos atsitiktinės paklaidos savybės:
Šios prielaidos gali būti suformuluotos atsitiktinių klaidų vektoriaus kovariacijos matricai
Šias sąlygas tenkinantis tiesinis modelis vadinamas klasikinis. Klasikinės tiesinės regresijos OLS įverčiai yra nešališki, nuoseklūs ir veiksmingiausi visų tiesinių nešališkų įverčių klasėje (anglų literatūroje santrumpa kartais vartojama MĖLYNA (Geriausias tiesinis nepagrįstas įvertinimo įrankis) – geriausias tiesinis nešališkas įvertis; rusų literatūroje dažniau cituojama Gauso-Markovo teorema). Kaip nesunku parodyti, koeficientų įverčių vektoriaus kovariacijos matrica bus lygi:
Apibendrintas OLS
Mažiausių kvadratų metodas leidžia plačiai apibendrinti. Užuot sumažinus likučių kvadratų sumą, galima sumažinti kokią nors teigiamą apibrėžtą kvadratinę likučių vektoriaus formą, kur yra kokia nors simetriška teigiamo apibrėžtojo svorio matrica. Įprasti mažiausi kvadratai yra ypatingas šio metodo atvejis, kai svorio matrica yra proporcinga tapatybės matricai. Kaip žinoma iš simetrinių matricų (arba operatorių) teorijos, tokios matricos yra skaidomos. Vadinasi, nurodytą funkciją galima pavaizduoti taip, tai yra, ši funkcija gali būti pavaizduota kaip kai kurių transformuotų „likučių“ kvadratų suma. Taigi galime išskirti mažiausių kvadratų metodų klasę – LS metodus (Least Squares).
Įrodyta (Aitkeno teorema), kad apibendrintam tiesinės regresijos modeliui (kuriame netaikomi jokie apribojimai atsitiktinių paklaidų kovariacijos matricai) efektyviausi (tiesinių nešališkų įverčių klasėje) yra vadinamieji įverčiai. apibendrinti mažiausių kvadratų (GLS – generalized Least Squares)- LS metodas su svorio matrica, lygia atsitiktinių paklaidų atvirkštinei kovariacijos matricai: .
Galima parodyti, kad tiesinio modelio parametrų GLS įverčių formulė turi formą
Šių įverčių kovariacijos matrica atitinkamai bus lygi
Tiesą sakant, OLS esmė slypi tam tikroje (tiesinėje) pirminių duomenų transformacijoje (P) ir įprasto OLS pritaikyme transformuotiems duomenims. Šios transformacijos tikslas yra tas, kad transformuotų duomenų atsitiktinės paklaidos jau tenkintų klasikines prielaidas.
Svertinis OLS
Įstrižainės svorio matricos (taigi ir atsitiktinių paklaidų kovariacijos matricos) atveju turime taip vadinamą svertinį mažiausią kvadratą (WLS). Šiuo atveju modelio likučių svertinė kvadratų suma yra sumažinta, tai yra, kiekvienas stebėjimas gauna „svorį“, kuris yra atvirkščiai proporcingas šio stebėjimo atsitiktinės paklaidos dispersijai: . Tiesą sakant, duomenys transformuojami pasveriant stebėjimus (padalijus iš sumos, proporcingos apskaičiuotam atsitiktinių klaidų standartiniam nuokrypiui), o svertiniams duomenims taikomas įprastas OLS.
Kai kurie ypatingi MNC naudojimo praktikoje atvejai
Tiesinės priklausomybės aproksimacija
Panagrinėkime atvejį, kai, tiriant tam tikro skaliarinio dydžio priklausomybę nuo tam tikro skaliarinio dydžio (tai gali būti, pavyzdžiui, įtampos priklausomybė nuo srovės stiprumo: , kur yra pastovi vertė, varža laidininkas), buvo atlikti šių dydžių matavimai, dėl kurių buvo nustatytos reikšmės ir jas atitinkančios vertės. Matavimo duomenys turi būti įrašyti į lentelę.
Lentelė. Matavimo rezultatai.
| Matavimo Nr. | ||
|---|---|---|
| 1 | ||
| 2 | ||
| 3 | ||
| 4 | ||
| 5 | ||
| 6 |
Kyla klausimas: kokią koeficiento reikšmę galima pasirinkti geriausiai priklausomybei apibūdinti? Pagal mažiausių kvadratų metodą ši vertė turėtų būti tokia, kad reikšmių nuokrypių nuo reikšmių kvadratų suma
buvo minimalus
Nukrypimų kvadratu suma turi vieną ekstremumą – minimumą, leidžiantį naudoti šią formulę. Iš šios formulės raskime koeficiento reikšmę. Norėdami tai padaryti, pakeičiame jo kairę pusę taip:
Paskutinė formulė leidžia mums rasti koeficiento reikšmę, kurios buvo reikalaujama uždavinyje.
Istorija
Iki XIX amžiaus pradžios. mokslininkai neturėjo tam tikrų taisyklių, kaip išspręsti lygčių sistemą, kurioje nežinomųjų skaičius yra mažesnis už lygčių skaičių; Iki tol buvo naudojamos privačios technikos, kurios priklausė nuo lygčių tipo ir skaičiuoklių sąmojingumo, todėl skirtingi skaičiuotuvai, remdamiesi tais pačiais stebėjimų duomenimis, priėjo prie skirtingų išvadų. Gaussas (1795) pirmasis panaudojo metodą, o Legendre (1805) savarankiškai atrado ir paskelbė jį šiuolaikiniu pavadinimu (pranc. Méthode des moindres quarrés ). Laplasas šį metodą susiejo su tikimybių teorija, o amerikiečių matematikas Adrainas (1808) svarstė jo tikimybių teorijos taikymą. Metodas buvo plačiai paplitęs ir patobulintas tolesnių Encke, Besselio, Hanseno ir kitų tyrimų.
Alternatyvūs OLS naudojimo būdai
Mažiausių kvadratų metodo idėja gali būti naudojama ir kitais atvejais, tiesiogiai nesusijusiais su regresine analize. Faktas yra tas, kad kvadratų suma yra vienas iš labiausiai paplitusių vektorių artumo matų (Euklido metrika baigtinių matmenų erdvėse).
Viena iš taikymo sričių yra tiesinių lygčių sistemų „sprendimas“, kuriose lygčių skaičius yra didesnis už kintamųjų skaičių.
kur matrica yra ne kvadrato, o stačiakampio dydžio.
Tokia lygčių sistema bendru atveju neturi sprendinio (jei rangas iš tikrųjų yra didesnis už kintamųjų skaičių). Todėl šią sistemą galima „išspręsti“ tik pasirinkus tokį vektorių, kad būtų sumažintas „atstumas“ tarp vektorių ir . Norėdami tai padaryti, galite taikyti sistemos lygčių kairiosios ir dešiniosios pusės skirtumų kvadratų sumos sumažinimo kriterijų, ty. Nesunku parodyti, kad išsprendus šią minimalizavimo problemą galima išspręsti šią lygčių sistemą
