Eksperimentinių duomenų aproksimacija. Mažiausio kvadrato metodas. Kur naudojamas mažiausių kvadratų metodas? Mažiausių kvadratų metodas yra tiesinė funkcija.

Jei tam tikras fizikinis dydis priklauso nuo kito dydžio, tada šią priklausomybę galima ištirti išmatuojant y esant skirtingoms x reikšmėms. Atlikus matavimus gaunama keletas verčių:

x 1, x 2, ..., x i, ..., x n;

y 1 , y 2 , ..., y i , ... , y n .

Remiantis tokio eksperimento duomenimis, galima sudaryti priklausomybės y = ƒ(x) grafiką. Gauta kreivė leidžia spręsti apie funkcijos ƒ(x) formą. Tačiau pastovūs koeficientai, kurie patenka į šią funkciją, lieka nežinomi. Juos galima nustatyti naudojant mažiausių kvadratų metodą. Eksperimentiniai taškai, kaip taisyklė, nėra tiksliai ant kreivės. Mažiausių kvadratų metodas reikalauja, kad eksperimentinių taškų nuokrypių nuo kreivės kvadratų suma, t.y. 2 buvo mažiausias.

Praktikoje šis metodas dažniausiai (ir paprasčiausiai) naudojamas tiesinio ryšio atveju, t.y. Kada

y = kx arba y = a + bx.

Tiesinė priklausomybė fizikoje yra labai paplitusi. Ir net kai ryšys yra netiesinis, jie paprastai bando sudaryti grafiką, kad gautų tiesią liniją. Pavyzdžiui, jei daroma prielaida, kad stiklo lūžio rodiklis n yra susijęs su šviesos bangos ilgiu λ ryšiu n = a + b/λ 2, tai n priklausomybė nuo λ -2 vaizduojama grafike.

Apsvarstykite priklausomybę y = kx(tiesi linija, einanti per pradžią). Sudarykime reikšmę φ mūsų taškų nuokrypių nuo tiesės kvadratų sumą

φ reikšmė visada yra teigiama ir pasirodo mažesnė, kuo mūsų taškai yra arčiau tiesės. Mažiausių kvadratų metodas teigia, kad k reikšmė turi būti parinkta taip, kad φ būtų minimali

arba
(19)

Skaičiavimas rodo, kad vidutinė kvadratinė paklaida nustatant k reikšmę yra lygi

, (20)
kur n yra matavimų skaičius.

Dabar panagrinėkime šiek tiek sunkesnį atvejį, kai taškai turi atitikti formulę y = a + bx(tiesi linija, nekertanti per pradžią).

Užduotis yra rasti geriausias a ir b reikšmes iš turimos reikšmių rinkinio x i, y i.

Dar kartą sudarykime kvadratinę formą φ, lygią taškų x i, y i nuokrypių nuo tiesės kvadratų sumai.

ir raskite a ir b reikšmes, kurių φ turi minimumą

;

Bendras šių lygčių sprendimas duoda

(21)

A ir b nustatymo vidutinės kvadratinės paklaidos yra lygios

(23)

. (24)

Apdorojant matavimo rezultatus šiuo metodu, patogu visus duomenis apibendrinti lentelėje, kurioje preliminariai suskaičiuotos visos sumos, įtrauktos į (19)(24) formules. Šių lentelių formos pateiktos toliau pateiktuose pavyzdžiuose.

1 pavyzdys. Ištirta pagrindinė sukamojo judėjimo dinamikos lygtis ε = M/J (tiesė, einanti per pradžią). Esant skirtingoms momento M reikšmėms, buvo išmatuotas tam tikro kūno kampinis pagreitis ε. Būtina nustatyti šio kūno inercijos momentą. Jėgos momento ir kampinio pagreičio matavimų rezultatai pateikiami antrame ir trečiame stulpeliuose 5 lentelė.

5 lentelė

n	M, N m	ε, s -1	M 2	M ε	ε - kM	(ε – kM) 2
1	1.44	0.52	2.0736	0.7488	0.039432	0.001555
2	3.12	1.06	9.7344	3.3072	0.018768	0.000352
3	4.59	1.45	21.0681	6.6555	-0.08181	0.006693
4	5.90	1.92	34.81	11.328	-0.049	0.002401
5	7.45	2.56	55.5025	19.072	0.073725	0.005435
∑			123.1886	41.1115		0.016436

Naudodami (19) formulę nustatome:

Norėdami nustatyti vidutinę kvadratinę paklaidą, naudojame formulę (20)

0.005775kilogramas-1 · m -2 .

Pagal (18) formulę turime

; .

S J = (2,996 0,005775) / 0,3337 = 0,05185 kg m2.

Nustačius patikimumą P = 0,95, naudodamiesi Stjudento koeficientų lentele, kai n = 5, randame t = 2,78 ir nustatome absoliučią paklaidą ΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kg m2.

Rezultatus parašykime formoje:

J = (3,0 ± 0,2) kg m2;

2 pavyzdys. Apskaičiuokime metalo varžos temperatūros koeficientą mažiausių kvadratų metodu. Atsparumas tiesiškai priklauso nuo temperatūros

Rt = R 0 (1 + α t°) = R 0 + R 0 α t°.

Laisvasis terminas nustato varžą R 0 esant 0 ° C temperatūrai, o nuolydžio koeficientas yra temperatūros koeficiento α ir varžos R 0 sandauga.

Matavimų ir skaičiavimų rezultatai pateikti lentelėje ( žr. 6 lentelę).

6 lentelė

n	t°, s	r, Ohm	t-¯t	(t-¯t) 2	(t-¯t)r	r - bt - a	(r - bt - a) 2 .10 -6
1	23	1.242	-62.8333	3948.028	-78.039	0.007673	58.8722
2	59	1.326	-26.8333	720.0278	-35.581	-0.00353	12.4959
3	84	1.386	-1.83333	3.361111	-2.541	-0.00965	93.1506
4	96	1.417	10.16667	103.3611	14.40617	-0.01039	107.898
5	120	1.512	34.16667	1167.361	51.66	0.021141	446.932
6	133	1.520	47.16667	2224.694	71.69333	-0.00524	27.4556
∑	515	8.403		8166.833	21.5985		746.804
∑/n	85.83333	1.4005

Naudodami (21), (22) formules nustatome

R 0 = ¯ R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Om.

Raskime α apibrėžimo klaidą. Nuo tada pagal (18) formulę turime:

Naudodami (23), (24) formules turime

;

0.014126 Om.

Nustačius patikimumą P = 0,95, naudodamiesi Stjudento koeficientų lentele, kai n = 6, randame t = 2,57 ir nustatome absoliučią paklaidą Δα = 2,57 0,000132 = 0,000338 laipsnis -1.

α = (23 ± 4) 10 -4 kruša-1, kai P = 0,95.

3 pavyzdys. Būtina nustatyti lęšio kreivio spindulį naudojant Niutono žiedus. Išmatuoti Niutono žiedų spinduliai r m ir nustatyti šių žiedų skaičiai m. Niutono žiedų spindulys yra susijęs su lęšio kreivio spinduliu R ir žiedo skaičiumi pagal lygtį

r 2 m = mλR - 2d 0 R,

kur d 0 tarpo tarp lęšio ir plokštumos lygiagrečios plokštės storis (arba lęšio deformacija),

λ krintančios šviesos bangos ilgis.

λ = (600 ± 6) nm;
r 2 m = y;
m = x;
λR = b;
-2d 0 R = a,

tada lygtis įgaus formą y = a + bx.

Įvedami matavimų ir skaičiavimų rezultatai 7 lentelė.

7 lentelė

n	x = m	y = r 2, 10 -2 mm 2	m -¯ m	(m–¯m) 2	(m -¯ m) m	y - bx - a, 10 -4	(y – bx – a) 2 , 10 –6
1	1	6.101	-2.5	6.25	-0.152525	12.01	1.44229
2	2	11.834	-1.5	2.25	-0.17751	-9.6	0.930766
3	3	17.808	-0.5	0.25	-0.08904	-7.2	0.519086
4	4	23.814	0.5	0.25	0.11907	-1.6	0.0243955
5	5	29.812	1.5	2.25	0.44718	3.28	0.107646
6	6	35.760	2.5	6.25	0.894	3.12	0.0975819
∑	21	125.129		17.5	1.041175		3.12176
∑/n	3.5	20.8548333

Paprastųjų mažiausių kvadratų (OLS) metodas- matematinis metodas, naudojamas įvairiems uždaviniams spręsti, pagrįstas tam tikrų funkcijų kvadratinių nuokrypių nuo norimų kintamųjų sumos sumažinimu. Jis gali būti naudojamas „išspręsti“ per daug apibrėžtas lygčių sistemas (kai lygčių skaičius viršija nežinomųjų skaičių), ieškant sprendinių įprastų (ne per daug apibrėžtų) netiesinių lygčių sistemų atveju, apytiksliai apytiksliai apytiksliai nustatyti kai kurių lygčių reikšmes. funkcija. OLS yra vienas iš pagrindinių regresinės analizės metodų, leidžiančių įvertinti nežinomus regresijos modelių parametrus iš imties duomenų.

Enciklopedinis „YouTube“.

1 / 5

✪ Mažiausių kvadratų metodas. Tema

✪ Mažiausių kvadratų metodas, 1/2 pamoka. Linijinė funkcija

✪ Ekonometrija. 5 paskaita. Mažiausių kvadratų metodas

✪ Mitin I.V. – fizinių rezultatų apdorojimas. eksperimentas – Mažiausių kvadratų metodas (4 paskaita)

✪ Ekonometrija: 2 mažiausių kvadratų metodo esmė

Subtitrai

Istorija

Iki XIX amžiaus pradžios. mokslininkai neturėjo tam tikrų taisyklių, kaip išspręsti lygčių sistemą, kurioje nežinomųjų skaičius yra mažesnis už lygčių skaičių; Iki tol buvo naudojamos privačios technikos, kurios priklausė nuo lygčių tipo ir skaičiuoklių sąmojingumo, todėl skirtingi skaičiuotuvai, remdamiesi tais pačiais stebėjimų duomenimis, priėjo prie skirtingų išvadų. Gaussas (1795) pirmasis panaudojo metodą, o Legendre (1805) savarankiškai atrado ir paskelbė jį šiuolaikiniu pavadinimu (pranc. Méthode des moindres quarrés). Laplasas šį metodą susiejo su tikimybių teorija, o amerikiečių matematikas Adrainas (1808) svarstė jo tikimybių teorijos taikymą. Metodas buvo plačiai paplitęs ir patobulintas tolesnių Encke, Besselio, Hanseno ir kitų tyrimų.

Mažiausių kvadratų metodo esmė

Leisti x (\displaystyle x)- rinkinys n (\displaystyle n) nežinomi kintamieji (parametrai), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- funkcijų rinkinys iš šio kintamųjų rinkinio. Užduotis yra pasirinkti tokias reikšmes x (\displaystyle x), kad šių funkcijų reikšmės būtų kuo artimesnės tam tikroms reikšmėms y i (\displaystyle y_(i)). Iš esmės mes kalbame apie per daug apibrėžtos lygčių sistemos „sprendimą“. f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) nurodyta didžiausio kairiosios ir dešiniosios sistemos dalių artumo prasme. Mažiausių kvadratų metodo esmė yra pasirinkti kaip „artumo matą“ kairiosios ir dešiniosios kraštinių nuokrypių kvadratų sumą. | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Taigi MNC esmė gali būti išreikšta taip:

∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\rodyklė dešinėn \min _(x)).

Jei lygčių sistema turi sprendinį, tai kvadratų sumos minimumas bus lygus nuliui ir tikslius lygčių sistemos sprendinius galima rasti analitiškai arba, pavyzdžiui, naudojant įvairius skaitinio optimizavimo metodus. Jei sistema yra per daug apibrėžta, tai yra, laisvai kalbant, nepriklausomų lygčių skaičius yra didesnis nei norimų kintamųjų, tai sistema neturi tikslaus sprendimo ir mažiausių kvadratų metodas leidžia rasti kokį nors „optimalų“ vektorių. x (\displaystyle x) vektorių maksimalaus artumo prasme y (\displaystyle y) Ir f (x) (\displaystyle f(x)) arba maksimalus nuokrypio vektoriaus artumas e (\displaystyle e) iki nulio (artumas suprantamas euklido nuotolio prasme).

Pavyzdys – tiesinių lygčių sistema

Visų pirma, mažiausių kvadratų metodas gali būti naudojamas tiesinių lygčių sistemai „išspręsti“.

A x = b (\displaystyle Ax=b),

Kur A (\displaystyle A) stačiakampio dydžio matrica m × n , m > n (\displaystyle m\times n,m>n)(t.y. matricos A eilučių skaičius yra didesnis nei ieškomų kintamųjų).

Bendruoju atveju tokia lygčių sistema neturi sprendimo. Todėl šią sistemą galima „išspręsti“ tik pasirinkus tokį vektorių x (\displaystyle x) sumažinti „atstumą“ tarp vektorių A x (\displaystyle Axe) Ir b (\displaystyle b). Norėdami tai padaryti, galite taikyti sistemos lygčių kairiosios ir dešiniosios pusės skirtumų kvadratų sumos sumažinimo kriterijų, ty (A x − b) T (A x − b) → min x (\displaystyle (Ax-b)^(T)(Ax-b)\rodyklė dešinėn \min _(x)). Nesunku parodyti, kad išsprendus šią minimalizavimo problemą galima išspręsti šią lygčių sistemą

A T A x = A T b ⇒ x = (AT A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Rodyklė dešinėn x=(A^(T)A)^(-1)A^ (T)b).

OLS regresinėje analizėje (apytikslis duomenų)

Tebūnie n (\displaystyle n) kai kurių kintamųjų reikšmės y (\displaystyle y)(tai gali būti stebėjimų, eksperimentų ir kt. rezultatai) ir susijusius kintamuosius x (\displaystyle x). Iššūkis yra užtikrinti, kad santykiai tarp y (\displaystyle y) Ir x (\displaystyle x) apytikslis pagal kokią nors žinomą funkciją kai kurių nežinomų parametrų ribose b (\displaystyle b) ty iš tikrųjų raskite geriausias parametrų vertes b (\displaystyle b), maksimaliai aproksimuojant reikšmes f (x, b) (\displaystyle f(x,b)) prie faktinių verčių y (\displaystyle y). Tiesą sakant, tai susiję su per daug apibrėžtos lygčių sistemos „išsprendimu“ b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

Regresinėje analizėje ir ypač ekonometrijoje naudojami tikimybiniai kintamųjų priklausomybės modeliai.

Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

Kur ε t (\displaystyle \varepsilon _(t))- taip vadinamas atsitiktinių klaidų modeliai.

Atitinkamai, stebimų verčių nuokrypiai y (\displaystyle y) iš modelio f (x, b) (\displaystyle f(x,b)) jau daroma prielaida pačiame modelyje. Mažiausių kvadratų metodo (paprastojo, klasikinio) esmė – rasti tokius parametrus b (\displaystyle b), kurioje nuokrypių kvadratų suma (klaidos, regresijos modeliams jos dažnai vadinamos regresijos likučiais) e t (\displaystyle e_(t)) bus minimalus:

b ^ O L S = arg ⁡ min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),

Kur R S S (\displaystyle RSS)- Anglų Likutinė kvadratų suma apibrėžiama taip:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\suma _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

Bendru atveju ši problema gali būti išspręsta skaitmeninio optimizavimo (miniminimo) metodais. Šiuo atveju jie kalba apie netiesiniai mažieji kvadratai(NLS arba NLLS – angl. Non-linear Least Squares). Daugeliu atvejų galima gauti analitinį sprendimą. Norint išspręsti minimizavimo problemą, reikia rasti stacionarius funkcijos taškus R S S (b) (\displaystyle RSS(b)), skiriant jį pagal nežinomus parametrus b (\displaystyle b), prilygindami išvestines nuliui ir išsprendę gautą lygčių sistemą:

∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\rodymo stilius \suma _(t=1)^(n)(y_(t)-f(x_) (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).

OLS tiesinės regresijos atveju

Tegul regresijos priklausomybė yra tiesinė:

y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Leisti y yra paaiškinamo kintamojo stebėjimų stulpelio vektorius ir X (\displaystyle X)- Tai (n × k) (\displaystyle ((n\times))))- faktoriaus stebėjimų matrica (matricos eilutės yra tam tikro stebėjimo faktorių reikšmių vektoriai, stulpeliai yra tam tikro faktoriaus reikšmių vektorius visuose stebėjimuose). Tiesinio modelio matricos vaizdavimas turi tokią formą:

y = X b + ε (\displaystyle y=Xb+\varepsilon ).

Tada paaiškinamo kintamojo įverčių vektorius ir regresijos likučių vektorius bus lygūs

y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).

Atitinkamai, regresijos likučių kvadratų suma bus lygi

R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Šios funkcijos diferencijavimas pagal parametrų vektorių b (\displaystyle b) o išvestines prilyginus nuliui, gauname lygčių sistemą (matricos pavidalu):

(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).

Iššifruotoje matricos formoje ši lygčių sistema atrodo taip:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x x t 2 x t 3 k 3 x t 3 … ∑ ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2 … ∑ x t k 2) (b 3 1 b) t ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\suma x_(t1)x_(tk)\\\suma x_(t2)x_(t1)&\suma x_(t2)^(2)&\suma x_(t2)x_(t3)&\ltaškai &\ suma x_(t2)x_(tk)\\\suma x_(t3)x_(t1)&\suma x_(t3)x_(t2)&\suma x_(t3)^(2)&\ltaškai &\suma x_ (t3)x_(tk)\\\vtaškai &\vtaškai &\vtaškai &\dtaškai &\vtaškai \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ltaškai &\sum x_(tk)^(2)\\\end(pmatrica))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vtaškai \\\sum x_(tk)y_(t)\\\end(pmatrica)),) kur visos sumos perimamos per visas galiojančias reikšmes t (\displaystyle t).

Jei į modelį įtraukta konstanta (kaip įprasta), tada x t 1 = 1 (\displaystyle x_(t1) = 1) visų akivaizdoje t (\displaystyle t), todėl lygčių sistemos matricos viršutiniame kairiajame kampe yra stebėjimų skaičius n (\displaystyle n), o likusiuose pirmosios eilutės ir pirmojo stulpelio elementuose - tiesiog kintamųjų reikšmių sumos: ∑ x t j (\displaystyle \sum x_(tj)) o pirmasis dešiniosios sistemos pusės elementas yra ∑ y t (\displaystyle \sum y_(t)).

Šios lygčių sistemos sprendimas pateikia bendrą tiesinio modelio mažiausių kvadratų įverčių formulę:

b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T) )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).

Analitiniais tikslais naudingas paskutinis šios formulės atvaizdas (lygčių sistemoje dalinant iš n vietoj sumų atsiranda aritmetiniai vidurkiai). Jei regresijos modelyje duomenys centre, tai šiame vaizde pirmoji matrica turi imties kovariacijos matricos reikšmę, o antroji yra faktorių kovariacijų vektorius su priklausomu kintamuoju. Jei papildomai duomenys taip pat normalizuotasį MSE (tai yra galiausiai standartizuoti), tada pirmoji matrica turi veiksnių imties koreliacijos matricos reikšmę, antrasis vektorius - veiksnių imties koreliacijų vektorius su priklausomu kintamuoju.

Svarbi modelių OLS įverčių savybė su pastoviu- sudarytos regresijos linija eina per imties duomenų svorio centrą, tai yra, lygybė yra įvykdyta:

y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\hat (b))_(j)(\bar (x))_(j)).

Ypač kraštutiniu atveju, kai vienintelis regresorius yra konstanta, nustatome, kad vienintelio parametro (pačios konstantos) OLS įvertis yra lygus vidutinei paaiškinamo kintamojo vertei. Tai yra, aritmetinis vidurkis, žinomas dėl savo gerųjų savybių iš didelių skaičių dėsnių, taip pat yra mažiausių kvadratų įvertis – jis atitinka minimalios kvadratinių nukrypimų nuo jo sumos kriterijų.

Paprasčiausi ypatingi atvejai

Porinės tiesinės regresijos atveju y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), įvertinus tiesinę vieno kintamojo priklausomybę nuo kito, skaičiavimo formulės supaprastinamos (galima apsieiti ir be matricinės algebros). Lygčių sistema yra tokia:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline (xy))\\\end(pmatrix))).

Iš čia lengva rasti koeficientų įverčius:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2, a ^ = y ¯ − b x . (\displaystyle (\begin(cases)) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline) (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(atvejai)))

Nepaisant to, kad bendrais atvejais pirmenybė teikiama modeliams su konstanta, kai kuriais atvejais iš teorinių svarstymų žinoma, kad konstanta a (\displaystyle a) turi būti lygus nuliui. Pavyzdžiui, fizikoje įtampos ir srovės santykis yra U = I ⋅ R (\displaystyle U=I\cdot R); Matuojant įtampą ir srovę, būtina įvertinti varžą. Šiuo atveju kalbame apie modelį y = b x (\displaystyle y=bx). Šiuo atveju vietoj lygčių sistemos turime vieną lygtį

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Todėl vieno koeficiento įvertinimo formulė turi formą

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Polinominio modelio atvejis

Jei duomenis atitinka vieno kintamojo daugianario regresijos funkcija f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), tada, suvokdamas laipsnius x i (\displaystyle x^(i)) kaip nepriklausomus veiksnius kiekvienam i (\displaystyle i) modelio parametrus galima įvertinti remiantis bendra tiesinio modelio parametrų įvertinimo formule. Norėdami tai padaryti, pakanka atsižvelgti į bendrąją formulę, kad su tokiu aiškinimu x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) Ir x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Todėl matricos lygtys šiuo atveju bus tokios formos:

(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x t 2 … ∑ n x t k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 k 1 x b t k + 1 k … ] = [ ∑ n y t ∑ n x t y t ⋮ ∑ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vtaškai & \vtaškai &\dtaškai &\vtaškai \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ltaškai &\ suma \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vtaškai \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrica)).

Statistinės OLS įverčių savybės

Visų pirma pažymime, kad tiesiniams modeliams OLS įverčiai yra tiesiniai įverčiai, kaip matyti iš aukščiau pateiktos formulės. Nešališkiems OLS įverčiams būtina ir pakanka įvykdyti svarbiausią regresinės analizės sąlygą: atsitiktinės paklaidos matematinis lūkestis, priklausantis nuo faktorių, turi būti lygus nuliui. Ši sąlyga visų pirma tenkinama, jei

atsitiktinių klaidų matematinis lūkestis lygus nuliui, ir
faktoriai ir atsitiktinės paklaidos yra nepriklausomi atsitiktiniai kintamieji.

Antroji sąlyga – veiksnių egzogeniškumo sąlyga – yra esminė. Jei ši savybė nesilaikoma, galime manyti, kad beveik bet kokie įverčiai bus itin nepatenkinami: jie net nebus nuoseklūs (tai yra, net ir labai didelis duomenų kiekis neleidžia gauti kokybiškų įverčių šiuo atveju ). Klasikiniu atveju daroma stipresnė prielaida apie veiksnių determinizmą, o ne atsitiktinę paklaidą, kuri automatiškai reiškia, kad egzogeniškumo sąlyga yra įvykdyta. Bendru atveju, kad įverčiai būtų nuoseklūs, pakanka tenkinti egzogeniškumo sąlygą kartu su matricos konvergencija V x (\displaystyle V_(x))į kokią nors nevienetinę matricą, kai imties dydis didėja iki begalybės.

Kad, be nuoseklumo ir nešališkumo, (paprastųjų) mažiausių kvadratų įverčiai taip pat būtų veiksmingi (geriausi tiesinių nešališkų įverčių klasėje), turi būti įvykdytos papildomos atsitiktinės paklaidos savybės:

Šios prielaidos gali būti suformuluotos atsitiktinių klaidų vektoriaus kovariacijos matricai V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Šias sąlygas tenkinantis tiesinis modelis vadinamas klasikinis. Klasikinės tiesinės regresijos OLS įverčiai yra nešališki, nuoseklūs ir veiksmingiausi visų tiesinių nešališkų įverčių klasėje (anglų literatūroje santrumpa kartais vartojama MĖLYNA (Geriausias tiesinis nešališkas įvertinimo įrankis) – geriausias tiesinis nešališkas įvertis; Rusų literatūroje dažniau cituojama Gauso-Markovo teorema). Kaip nesunku parodyti, koeficientų įverčių vektoriaus kovariacijos matrica bus lygi:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Efektyvumas reiškia, kad ši kovariacijos matrica yra „minimali“ (bet koks tiesinis koeficientų derinys, o ypač patys koeficientai, turi minimalią dispersiją), tai yra, linijinių nešališkų įverčių klasėje geriausi yra OLS įverčiai. Šios matricos įstrižainės elementai – koeficientų įverčių dispersijos – yra svarbūs gautų įverčių kokybės parametrai. Tačiau kovariacijos matricos apskaičiuoti neįmanoma, nes atsitiktinės paklaidos dispersija nežinoma. Galima įrodyti, kad nešališkas ir nuoseklus (klasikiniam tiesiniam modeliui) atsitiktinių paklaidų dispersijos įvertis yra dydis:

S 2 = R S S / (n − k) (\displaystyle s^(2) = RSS/(n-k)).

Pakeitę šią reikšmę į kovariacijos matricos formulę, gauname kovariacijos matricos įvertį. Gauti įvertinimai taip pat yra nešališki ir nuoseklūs. Taip pat svarbu, kad paklaidos dispersijos įvertis (taigi ir koeficientų dispersija) ir modelio parametrų įverčiai būtų nepriklausomi atsitiktiniai dydžiai, todėl galima gauti testų statistiką hipotezėms apie modelio koeficientus tikrinti.

Reikėtų pažymėti, kad jei nesilaikoma klasikinių prielaidų, OLS parametrų įvertinimai nėra patys efektyviausi ir W (\displaystyle W) yra tam tikra simetriška teigiamo apibrėžtojo svorio matrica. Įprasti mažiausi kvadratai yra ypatingas šio metodo atvejis, kai svorio matrica yra proporcinga tapatybės matricai. Kaip žinoma, simetrinėms matricoms (arba operatoriams) yra išplėtimas W = P T P (\displaystyle W=P^(T)P). Todėl nurodytą funkciją galima pavaizduoti taip e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)) ty ši funkcija gali būti pavaizduota kaip kai kurių transformuotų „likučių“ kvadratų suma. Taigi galime išskirti mažiausių kvadratų metodų klasę – LS metodus (Least Squares).

Įrodyta (Aitkeno teorema), kad apibendrintam tiesinės regresijos modeliui (kuriame netaikomi jokie apribojimai atsitiktinių paklaidų kovariacijos matricai), veiksmingiausi (tiesinių nešališkų įverčių klasėje) yra vadinamieji įverčiai. apibendrinti mažiausių kvadratų (GLS – generalized Least Squares)- LS metodas su svorio matrica, lygia atsitiktinių klaidų atvirkštinei kovariacijos matricai: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Galima parodyti, kad tiesinio modelio parametrų GLS įverčių formulė turi formą

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Šių įverčių kovariacijos matrica atitinkamai bus lygi

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).

Tiesą sakant, OLS esmė slypi tam tikroje (tiesinėje) pirminių duomenų transformacijoje (P) ir įprasto OLS pritaikyme transformuotiems duomenims. Šios transformacijos tikslas yra tas, kad transformuotų duomenų atsitiktinės paklaidos jau tenkintų klasikines prielaidas.

Svertinis OLS

Įstrižainės svorio matricos (taigi ir atsitiktinių paklaidų kovariacijos matricos) atveju turime taip vadinamą svertinį mažiausią kvadratą (WLS). Šiuo atveju modelio likučių kvadratų svertinė suma yra sumažinta, tai yra, kiekvienas stebėjimas gauna „svorį“, kuris yra atvirkščiai proporcingas šio stebėjimo atsitiktinės paklaidos dispersijai: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). Tiesą sakant, duomenys transformuojami pasveriant stebėjimus (padalijus iš sumos, proporcingos apskaičiuotam atsitiktinių klaidų standartiniam nuokrypiui), o svertiniams duomenims taikomas įprastas OLS.

ISBN 978-5-7749-0473-0 .

Ekonometrija. Vadovėlis / Red. Eliseeva I.I. – 2 leidimas. - M.: Finansai ir statistika, 2006. - 576 p. - ISBN 5-279-02786-3.

Aleksandrova N.V. Matematikos terminų, sąvokų, užrašų istorija: žodynas-žinynas. - 3 leidimas - M.: LKI, 2008. - 248 p. - ISBN 978-5-382-00839-4. I.V. Mitinas, Rusakovas V.S. Eksperimentinių duomenų analizė ir apdorojimas - 5 leidimas - 24 p.

Pavyzdys.

Eksperimentiniai duomenys apie kintamųjų reikšmes X Ir adresu pateikiami lentelėje.

Dėl jų išlyginimo gaunama funkcija

Naudojant mažiausių kvadratų metodas, apytiksliai apskaičiuokite šiuos duomenis tiesine priklausomybe y=kirvis+b(raskite parametrus A Ir b). Sužinokite, kuri iš dviejų eilučių geriau (mažiausių kvadratų metodo prasme) suderina eksperimentinius duomenis. Padarykite piešinį.

Mažiausių kvadratų metodo (LSM) esmė.

Užduotis – rasti tiesinės priklausomybės koeficientus, kuriems esant veikia dviejų kintamųjų funkcija A Ir b užima mažiausią vertę. Tai yra, duota A Ir b eksperimentinių duomenų nuokrypių kvadratu suma nuo rastos tiesės bus mažiausia. Tai yra mažiausių kvadratų metodo esmė.

Taigi, sprendžiant pavyzdį, reikia rasti dviejų kintamųjų funkcijos ekstremumą.

Koeficientų radimo formulės.

Sudaroma ir išsprendžiama dviejų lygčių su dviem nežinomaisiais sistema. Funkcijos dalinių išvestinių kintamųjų atžvilgiu radimas A Ir b, šias išvestines prilyginsime nuliui.

Gautą lygčių sistemą išsprendžiame naudodami bet kurį metodą (pvz pakeitimo būdu arba ) ir gauti koeficientų radimo formules naudojant mažiausiųjų kvadratų metodą (LSM).

Duota A Ir b funkcija užima mažiausią vertę. Pateikiamas šio fakto įrodymas.

Tai visas mažiausių kvadratų metodas. Parametrų radimo formulė a yra sumos , , , ir parametras n- eksperimentinių duomenų kiekis. Rekomenduojame šių sumų vertes skaičiuoti atskirai. Koeficientas b rasta po skaičiavimo a.

Atėjo laikas prisiminti originalų pavyzdį.

Sprendimas.

Mūsų pavyzdyje n=5. Lentelę užpildome, kad būtų patogiau apskaičiuoti sumas, kurios įtrauktos į reikalingų koeficientų formules.

Ketvirtoje lentelės eilutėje esančios reikšmės gaunamos 2-os eilutės reikšmes padauginus iš 3-osios kiekvieno skaičiaus reikšmių i.

Penktoje lentelės eilutėje esančios reikšmės gaunamos padalijus kiekvieno skaičiaus 2-os eilutės reikšmes kvadratu i.

Paskutiniame lentelės stulpelyje pateiktos reikšmės yra reikšmių sumos visose eilutėse.

Koeficientams rasti naudojame mažiausių kvadratų metodo formules A Ir b. Į jas pakeičiame atitinkamas vertes iš paskutinio lentelės stulpelio:

Vadinasi, y = 0,165x+2,184- norima apytikslė tiesi linija.

Belieka išsiaiškinti, kuri iš eilučių y = 0,165x+2,184 arba geriau aproksimuoja pradinius duomenis, tai yra, įvertina taikydamas mažiausių kvadratų metodą.

Mažiausių kvadratų metodo klaidų įvertinimas.

Norėdami tai padaryti, turite apskaičiuoti pirminių duomenų kvadratinių nuokrypių nuo šių eilučių sumą Ir , mažesnė reikšmė atitinka liniją, kuri geriau apytiksliai atitinka pradinius duomenis mažiausiųjų kvadratų metodo prasme.

Nuo tada tiesiai y = 0,165x+2,184 geriau atitinka pradinius duomenis.

Mažiausių kvadratų (LS) metodo grafinė iliustracija.

Grafikuose viskas aiškiai matosi. Raudona linija yra rasta tiesi linija y = 0,165x+2,184, mėlyna linija yra , rožiniai taškai yra pirminiai duomenys.

Kam to reikia, kam visi šie aproksimacijos?

Aš asmeniškai naudoju jį duomenų išlyginimo, interpoliacijos ir ekstrapoliacijos problemoms spręsti (pradiniame pavyzdyje jų gali būti paprašyta rasti stebimos reikšmės reikšmę y adresu x=3 arba kada x=6 naudojant mažiausių kvadratų metodą). Tačiau daugiau apie tai pakalbėsime vėliau kitoje svetainės skiltyje.

Įrodymas.

Taip kad radus A Ir b funkcija įgauna mažiausią reikšmę, būtina, kad šioje vietoje funkcijos antros eilės diferencialo kvadratinės formos matrica buvo teigiamas. Parodykime.

3.5. Mažiausio kvadrato metodas

Pirmąjį darbą, padėjusį mažiausiųjų kvadratų metodo pagrindus, Legendre atliko 1805 m. Straipsnyje „Nauji kometų orbitų nustatymo metodai“ jis rašė: „Visiškai išnaudojus visas problemos sąlygas, būtina nustatyti koeficientus, kad jų paklaidos būtų kuo mažesnės. Paprasčiausias būdas tai pasiekti yra metodas, kurį sudaro minimalios kvadratinių klaidų sumos radimas. iki plataus masto eksperimento.

Tegul, remiantis eksperimentu, reikia nustatyti dydžio funkcinę priklausomybę y nuo x : Tarkime, kad atlikdami eksperimentą gavomen vertybes yatitinkamoms argumento reikšmėmsx. Jeigu eksperimentiniai taškai išsidėstę koordinačių plokštumoje kaip paveiksle, tai žinant, kad eksperimento metu pasitaiko paklaidų, galime daryti prielaidą, kad priklausomybė yra tiesinė, t.y.y= kirvis+ bAtkreipkite dėmesį, kad metodas nenustato apribojimų funkcijos tipui, t.y. ji gali būti taikoma bet kokiai funkcinei priklausomybei.

Eksperimentuotojo požiūriu, dažnai natūralesnė atrankos sekafiksuota iš anksto, t.y. yra nepriklausomas kintamasis ir skaičiuojamas - priklausomas kintamasis Tai ypač aišku, jei pagal yra suprantami kaip laiko momentai, kurie plačiausiai naudojami techninėse srityse, tačiau tai tik labai dažnas ypatingas atvejis. Pavyzdžiui, kai kuriuos pavyzdžius būtina klasifikuoti pagal dydį. Tada nepriklausomas kintamasis bus imties numeris, priklausomas kintamasis bus jo individualus dydis.

Mažiausių kvadratų metodas išsamiai aprašytas daugelyje mokomųjų ir mokslinių publikacijų, ypač kalbant apie funkcijų aproksimaciją elektros ir radijo inžinerijoje, taip pat knygose apie tikimybių teoriją ir matematinę statistiką.

Grįžkime prie piešinio. Taškinės linijos rodo, kad paklaidos gali atsirasti ne tik dėl netobulų matavimo procedūrų, bet ir dėl netikslumo nurodant nepriklausomą kintamąjį Su pasirinktu funkcijos tipu Belieka pasirinkti į jį įtrauktus parametrusa Ir bAišku, kad parametrų skaičius gali būti daugiau nei du, kas būdinga tik tiesinėms funkcijoms.Apskritai darysime prielaidą

.(1)

Turite pasirinkti koeficientusa, b, c... kad sąlyga būtų įvykdyta

. (2)

Raskime vertybes a, b, c..., pasukant kairę (2) pusę iki minimumo. Norėdami tai padaryti, nustatome stacionarius taškus (taškus, kuriuose išnyksta pirmoji išvestinė), diferencijuodami kairę (2) pusę nuoa, b, c:

(3)

ir tt Gautoje lygčių sistemoje yra tiek lygčių, kiek ir nežinomųjųa, b, c…. Neįmanoma išspręsti tokios sistemos bendra forma, todėl reikia bent apytiksliai nurodyti konkretų funkcijos tipą.Toliau nagrinėsime du atvejus: tiesines ir kvadratines funkcijas.

Linijinė funkcija .

Panagrinėkime kvadratinių skirtumų tarp eksperimentinių verčių ir funkcijų verčių atitinkamuose taškuose sumą:

(4)

Parenkame parametrusa Ir bkad ši suma turėtų mažiausią vertę. Taigi, užduotis yra rasti vertybesa Ir b, prie kurio funkcija turi minimumą, ty ištirti dviejų nepriklausomų kintamųjų funkcijąa Ir biki minimumo. Norėdami tai padaryti, mes skiriame pagala Ir b:

;

Arba

(5)

Pakeitę eksperimentinius duomenis ir , gauname dviejų tiesinių lygčių su dviem nežinomaisiais sistemąa Ir b. Išsprendę šią sistemą, galime parašyti funkciją .

Įsitikinkite, kad rastos vertėsa Ir bturi minimumą. Norėdami tai padaryti, randame ir:

, , .

Vadinasi,

− = ,

>0,

tie. tenkinama pakankama minimali dviejų kintamųjų funkcijos sąlyga.

Kvadratinė funkcija .

Tegul eksperimentas gauna funkcijos reikšmes taškuose. Taip pat, remiantis a priori informacija, yra prielaida, kad funkcija yra kvadratinė:

Turime rasti koeficientusa, b Ir c.Mes turime

– trijų kintamųjų funkcijaa, b, c.

Šiuo atveju sistema (3) yra tokia:

Arba:

Išsprendę šią tiesinių lygčių sistemą, nustatome nežinomuosiusa, b, c.

Pavyzdys.Tegul remiantis eksperimentu gaunamos keturios norimos funkcijos reikšmės y = (x ) su keturiomis argumento reikšmėmis, kurios pateiktos lentelėje:

Kuris randa plačiausią pritaikymą įvairiose mokslo ir praktinės veiklos srityse. Tai gali būti fizika, chemija, biologija, ekonomika, sociologija, psichologija ir t. t. ir taip toliau. Likimo valia man dažnai tenka susidurti su ekonomika, todėl šiandien surengsiu jums kelionę į nuostabią šalį, vadinamą Ekonometrija=) ...Kaip to nenorėti?! Ten labai gerai – tereikia apsispręsti! ...Bet ko jūs tikriausiai tikrai norite, tai išmokti spręsti problemas mažiausių kvadratų metodas. O ypač stropūs skaitytojai išmoks juos išspręsti ne tik tiksliai, bet ir LABAI GREITAI ;-) Bet pirmiausia bendras problemos išdėstymas+ pridedamas pavyzdys:

Panagrinėkime tam tikros dalykinės srities rodiklius, kurie turi kiekybinę išraišką. Tuo pačiu yra pagrindo manyti, kad rodiklis priklauso nuo rodiklio. Ši prielaida gali būti mokslinė hipotezė arba pagrįsta sveiku protu. Tačiau palikime mokslą nuošalyje ir tyrinėkime patrauklesnes sritis – būtent bakalėjos parduotuves. Pažymėkime taip:

– maisto prekių parduotuvės mažmeninės prekybos plotas, kv.m.
– maisto prekių parduotuvės metinė apyvarta, milijonai rublių.

Visiškai aišku, kad kuo didesnis parduotuvės plotas, tuo dažniausiai jos apyvarta bus didesnė.

Tarkime, kad po stebėjimų/eksperimentų/skaičiavimų/šokimų su tamburinu turime skaitinius duomenis:

Su bakalėjos parduotuvėmis, manau, viskas aišku: - tai 1-os parduotuvės plotas, - jos metinė apyvarta, - 2-osios parduotuvės plotas, - jos metinė apyvarta ir t.t. Beje, prieiti prie įslaptintos medžiagos visai nebūtina – gana tikslų prekybos apyvartos įvertinimą galima gauti naudojant matematinė statistika. Tačiau nesiblaškykime, komercinio šnipinėjimo kursai jau mokami =)

Lentelės duomenys taip pat gali būti parašyti taškų forma ir pavaizduoti pažįstama forma Dekarto sistema .

Atsakykime į svarbų klausimą: Kiek balų reikia kokybiniam tyrimui?

Kuo didesnis, tuo geriau. Minimalus priimtinas rinkinys susideda iš 5-6 taškų. Be to, kai duomenų kiekis mažas, „anomalių“ rezultatų negalima įtraukti į imtį. Taigi, pavyzdžiui, nedidelė elito parduotuvė gali uždirbti daug daugiau nei „jos kolegos“, taip iškraipydami bendrą modelį, kurį turite rasti!

Kalbant labai paprastai, turime pasirinkti funkciją, tvarkaraštį kuri eina kuo arčiau taškų . Ši funkcija vadinama apytikslis (apytikslis - apytikslis) arba teorinė funkcija . Paprastai tariant, čia iš karto atsiranda akivaizdus „pretendentas“ - aukšto laipsnio daugianario, kurio grafikas eina per VISUS taškus. Tačiau ši parinktis yra sudėtinga ir dažnai tiesiog neteisinga. (kadangi grafikas visą laiką bus „kilpas“ ir prastai atspindės pagrindinę tendenciją).

Taigi, ieškoma funkcija turi būti gana paprasta ir tuo pačiu adekvačiai atspindėti priklausomybę. Kaip jau galima spėti, vienas iš būdų rasti tokias funkcijas vadinamas mažiausių kvadratų metodas. Pirmiausia pažvelkime į jo esmę bendrai. Tegul kuri nors funkcija apytiksliai atitinka eksperimentinius duomenis:

Kaip įvertinti šio aproksimavimo tikslumą? Taip pat apskaičiuokime skirtumus (nukrypimus) tarp eksperimentinių ir funkcinių verčių (mes studijuojame piešinį). Pirma mintis, kuri ateina į galvą, yra įvertinti, kokia yra suma, bet problema ta, kad skirtumai gali būti neigiami (Pavyzdžiui, ) ir nukrypimai dėl tokio sumavimo panaikins vienas kitą. Todėl, norint įvertinti aproksimacijos tikslumą, reikia paimti sumą moduliai nukrypimai:

arba sugriuvo: (jei kas nors nežino: – tai sumos piktograma ir – pagalbinis „skaitiklio“ kintamasis, kurio reikšmės yra nuo 1 iki ).

Aproksimuodami eksperimentinius taškus su skirtingomis funkcijomis gausime skirtingas reikšmes, ir akivaizdu, kad ten, kur ši suma mažesnė, ta funkcija yra tikslesnė.

Toks metodas egzistuoja ir jis vadinamas mažiausio modulio metodas. Tačiau praktikoje jis tapo daug plačiau paplitęs mažiausių kvadratų metodas, kuriame galimas neigiamas reikšmes pašalina ne modulis, o nukrypimus kvadratu:

, po to stengiamasi parinkti tokią funkciją, kuri atitiktų kvadratinių nuokrypių sumą buvo kuo mažesnis. Tiesą sakant, iš čia ir kilęs metodo pavadinimas.

Ir dabar grįžtame prie kito svarbaus dalyko: kaip minėta aukščiau, pasirinkta funkcija turėtų būti gana paprasta, tačiau tokių funkcijų taip pat yra daug: linijinis , hiperbolinis, eksponentinis, logaritminis, kvadratinis ir tt Ir, žinoma, čia aš iš karto norėčiau „sumažinti veiklos sritį“. Kurią funkcijų klasę turėčiau pasirinkti tyrimui? Primityvi, bet efektyvi technika:

– Lengviausias būdas – vaizduoti taškus brėžinyje ir išanalizuokite jų vietą. Jei jie linkę važiuoti tiesia linija, tuomet turėtumėte ieškoti tiesės lygtis su optimaliomis reikšmėmis ir . Kitaip tariant, užduotis yra rasti TOKIUS koeficientus, kad kvadratinių nuokrypių suma būtų mažiausia.

Jei taškai yra, pavyzdžiui, išilgai hiperbolė, tada akivaizdu, kad tiesinė funkcija duos prastą aproksimaciją. Šiuo atveju mes ieškome „palankiausių“ hiperbolės lygties koeficientų – tie, kurie duoda mažiausią kvadratų sumą .

Dabar atkreipkite dėmesį, kad abiem atvejais mes kalbame apie dviejų kintamųjų funkcijos, kurio argumentai yra ieškojo priklausomybės parametrų:

Ir iš esmės turime išspręsti standartinę problemą – rasti minimali dviejų kintamųjų funkcija.

Prisiminkime mūsų pavyzdį: tarkime, kad „parduotuvės“ taškai paprastai yra tiesioje linijoje ir yra pagrindo manyti, kad tiesinė priklausomybė apyvartos iš prekybos ploto. Raskime TOKIUS koeficientus „a“ ir „būti“ tokius, kad nuokrypių kvadratų suma buvo mažiausias. Viskas kaip įprasta – pirma 1 eilės daliniai išvestiniai. Pagal tiesiškumo taisyklė Galite atskirti tiesiai po sumos piktograma:

Jei norite šią informaciją panaudoti rašinyje ar kursiniam darbui, būsiu labai dėkingas už nuorodą šaltinių sąraše, tokių detalių skaičiavimų rasite keliose vietose:

Sukurkime standartinę sistemą:

Kiekvieną lygtį sumažiname „dviem“ ir, be to, „išskaidome“ sumas:

Pastaba : savarankiškai analizuokite, kodėl „a“ ir „be“ galima išimti už sumos piktogramos. Beje, formaliai tai galima padaryti su suma

Perrašykime sistemą „taikoma“ forma:

po kurio pradeda ryškėti mūsų problemos sprendimo algoritmas:

Ar žinome taškų koordinates? Mes žinome. Sumos ar galime rasti? Lengvai. Padarykime paprasčiausią dviejų tiesinių lygčių sistema dviejuose nežinomuosiuose(„a“ ir „būti“). Mes išsprendžiame sistemą, pvz. Cramerio metodas, ko pasekoje gauname stacionarų tašką. Tikrinama pakankama sąlyga ekstremumui, galime patikrinti, ar šiuo metu funkcija pasiekia tiksliai minimumas. Patikrinimas apima papildomus skaičiavimus, todėl paliksime jį užkulisiuose (jei reikia, trūkstamą kadrą galima peržiūrėti). Padarome galutinę išvadą:

Funkcija geriausias būdas (bent jau lyginant su bet kuria kita tiesine funkcija) priartina eksperimentinius taškus . Grubiai tariant, jo grafikas eina kuo arčiau šių taškų. Pagal tradiciją ekonometrija taip pat vadinama gauta aproksimacinė funkcija suporuota tiesinės regresijos lygtis .

Nagrinėjama problema turi didelę praktinę reikšmę. Mūsų pavyzdinėje situacijoje Eq. leidžia nuspėti kokią prekybos apyvartą („Igrek“) parduotuvė turės vienokią ar kitokią prekybos ploto vertę (viena ar kita „x“ reikšmė). Taip, gauta prognozė bus tik prognozė, tačiau daugeliu atvejų ji pasirodys gana tiksli.

Išanalizuosiu tik vieną problemą su „tikraisiais“ skaičiais, nes joje nėra jokių sunkumų - visi skaičiavimai yra 7-8 klasių mokyklos mokymo programos lygyje. 95 procentais atvejų jūsų bus paprašyta rasti tiesiog tiesinę funkciją, tačiau pačioje straipsnio pabaigoje parodysiu, kad optimalios hiperbolės, eksponentinės ir kai kurių kitų funkcijų lygtis rasti nėra sunkiau.

Tiesą sakant, belieka išdalinti žadėtas gėrybes – kad tokius pavyzdžius išmoktumėte spręsti ne tik tiksliai, bet ir greitai. Atidžiai studijuojame standartą:

Užduotis

Ištyrus ryšį tarp dviejų rodiklių, gautos šios skaičių poros:

Naudodami mažiausių kvadratų metodą, raskite tiesinę funkciją, kuri geriausiai atitinka empirinę funkciją (Patyręs) duomenis. Padarykite brėžinį, ant kurio bus sukurti eksperimentiniai taškai, ir aproksimacinės funkcijos grafiką Dekarto stačiakampėje koordinačių sistemoje . Raskite empirinių ir teorinių reikšmių nuokrypių kvadratų sumą. Sužinokite, ar ši funkcija būtų geresnė (mažiausių kvadratų metodo požiūriu) priartinti eksperimentinius taškus.

Atkreipkite dėmesį, kad „x“ reikšmės yra natūralios, ir tai turi būdingą prasmingą reikšmę, apie kurią pakalbėsiu šiek tiek vėliau; bet jie, žinoma, gali būti ir trupmeniniai. Be to, atsižvelgiant į konkrečios užduoties turinį, „X“ ir „žaidimo“ reikšmės gali būti visiškai arba iš dalies neigiamos. Na, mums buvo duota „beveidė“ užduotis, ir mes ją pradedame sprendimas:

Kaip sistemos sprendimą randame optimalios funkcijos koeficientus:

Siekiant kompaktiškesnio įrašymo, „skaitiklio“ kintamąjį galima praleisti, nes jau aišku, kad sumavimas atliekamas nuo 1 iki .

Patogiau reikiamas sumas apskaičiuoti lentelės forma:

Skaičiavimai gali būti atliekami naudojant mikroskaičiuotuvą, tačiau daug geriau naudoti „Excel“ - tiek greičiau, tiek be klaidų; žiūrėkite trumpą vaizdo įrašą:

Taigi gauname štai ką sistema:

Čia galite padauginti antrą lygtį iš 3 ir iš 1-osios lygties atimkite 2-ąjį dėmenį. Bet tai yra sėkmė – praktikoje sistemos dažnai nėra dovana, ir tokiais atvejais tai gelbsti Cramerio metodas:
, o tai reiškia, kad sistema turi unikalų sprendimą.

Patikrinkime. Suprantu, kad nenorite, bet kam praleisti klaidas, kuriose jų visiškai negalima praleisti? Rastą sprendimą pakeisime kiekvienos sistemos lygties kairėje pusėje:

Gaunamos atitinkamų lygčių dešinės pusės, vadinasi, sistema išspręsta teisingai.

Taigi norima aproksimacinė funkcija: – nuo visos tiesinės funkcijos Būtent ji geriausiai atitinka eksperimentinius duomenis.

Skirtingai nei tiesiai parduotuvės apyvartos priklausomybė nuo jos ploto, nustatyta priklausomybė yra atvirkščiai (principas „kuo daugiau, tuo mažiau“), ir šį faktą iš karto atskleidžia neigiamas nuolydis. Funkcija nurodo, kad padidėjus tam tikram rodikliui 1 vienetu, priklausomo rodiklio reikšmė mažėja vidutinis 0,65 vnt. Kaip sakoma, kuo didesnė grikių kaina, tuo jų parduodama mažiau.

Norėdami nubraižyti aproksimacinės funkcijos grafiką, randame dvi jos reikšmes:

ir atlikite piešinį:

Sukonstruota tiesė vadinama tendencijų linija (būtent linijinė tendencijos linija, t. y. bendruoju atveju tendencija nebūtinai yra tiesi linija). Visi žino posakį „būti tendencijoje“ ir manau, kad šiam terminui papildomų komentarų nereikia.

Apskaičiuokime kvadratinių nuokrypių sumą tarp empirinių ir teorinių vertybių. Geometriškai tai yra „avietės“ atkarpų ilgių kvadratų suma (iš kurių du tokie maži, kad net nesimato).

Apibendrinkime skaičiavimus lentelėje:

Vėlgi, juos galima atlikti rankiniu būdu; tik tuo atveju, pateiksiu 1 punkto pavyzdį:

bet daug efektyviau tai padaryti jau žinomu būdu:

Dar kartą kartojame: Kokia gauto rezultato prasmė? Iš visos tiesinės funkcijos y funkcija rodiklis yra mažiausias, tai yra, jo šeimoje jis yra geriausias apytikslis. Ir čia, beje, galutinis problemos klausimas neatsitiktinis: o jeigu siūloma eksponentinė funkcija ar geriau būtų priartinti eksperimentinius taškus?

Raskime atitinkamą kvadratinių nuokrypių sumą - kad atskirtumėte, pažymėsiu juos raide „epsilon“. Technika lygiai tokia pati:

Ir vėl, tik tuo atveju, 1 taško skaičiavimai:

„Excel“ programoje naudojame standartinę funkciją EXP (sintaksę galite rasti „Excel“ žinyne).

Išvada: , o tai reiškia, kad eksponentinė funkcija eksperimentinius taškus aproksimuoja blogiau nei tiesė .

Tačiau čia reikia pažymėti, kad „blogiau“. dar nereiškia, kas blogai. Dabar sukūriau šios eksponentinės funkcijos grafiką – ji taip pat eina arti taškų – tiek, kad be analitinio tyrimo sunku pasakyti, kuri funkcija tikslesnė.

Tai užbaigia sprendimą, ir aš grįžtu prie ginčo gamtinių vertybių klausimo. Įvairiuose tyrimuose, dažniausiai ekonominiuose ar sociologiniuose, natūralūs „X“ naudojami mėnesiams, metams ar kitiems vienodiems laiko intervalams skaičiuoti. Apsvarstykite, pavyzdžiui, šią problemą.