Agar ma'lum bir fizik miqdor boshqa miqdorga bog'liq bo'lsa, u holda bu bog'liqlikni y ni turli xil x qiymatlarida o'lchash orqali o'rganish mumkin. O'lchovlar natijasida bir qator qiymatlar olinadi:
x 1, x 2, ..., x i, ..., x n;
y 1, y 2, ..., y i, ..., y n.
Bunday tajriba ma'lumotlari asosida y = ƒ(x) bog'liqlik grafigini qurish mumkin. Olingan egri chiziq ƒ(x) funksiyaning shakli haqida xulosa chiqarish imkonini beradi. Biroq, bu funktsiyaga kiradigan doimiy koeffitsientlar noma'lum bo'lib qoladi. Ularni eng kichik kvadratlar usuli yordamida aniqlash mumkin. Tajriba nuqtalari, qoida tariqasida, egri chiziqda aniq yotmaydi. Eng kichik kvadratlar usuli eksperimental nuqtalarning egri chiziqdan og'ish kvadratlari yig'indisini talab qiladi, ya'ni. 2 eng kichik edi.
Amalda, bu usul ko'pincha (va eng oddiy) chiziqli munosabatlar holatida qo'llaniladi, ya'ni. Qachon
y = kx yoki y = a + bx.
Chiziqli bog'liqlik fizikada juda keng tarqalgan. Va munosabatlar chiziqli bo'lmagan taqdirda ham, ular odatda to'g'ri chiziqni olish uchun grafik qurishga harakat qilishadi. Misol uchun, agar shisha n ning sindirish ko'rsatkichi yorug'lik to'lqin uzunligi l bilan n = a + b/l 2 munosabati bilan bog'liq deb faraz qilinsa, u holda n ning l -2 ga bog'liqligi grafikda chiziladi.
Qaramlikni ko'rib chiqing y = kx(bosh nuqtadan oʻtuvchi toʻgʻri chiziq). Nuqtalarimiz to‘g‘ri chiziqdan chetlanish kvadratlari yig‘indisidan ph qiymatini tuzamiz.
ph qiymati har doim ijobiy bo'lib, nuqtalarimiz to'g'ri chiziqqa qanchalik yaqin bo'lsa, shuncha kichikroq bo'ladi. Eng kichik kvadratlar usuli k ning qiymati ph minimumga ega bo'ladigan tarzda tanlanishi kerakligini bildiradi
yoki
(19)
Hisoblash shuni ko'rsatadiki, k ning qiymatini aniqlashda o'rtacha kvadrat ildiz xatosi tengdir.
, (20)
bu erda n - o'lchovlar soni.
Keling, ballar formulani qondirishi kerak bo'lgan biroz qiyinroq vaziyatni ko'rib chiqaylik y = a + bx(bosh nuqtadan oʻtmaydigan toʻgʻri chiziq).
Vazifa mavjud x i, y i qiymatlari to'plamidan a va b ning eng yaxshi qiymatlarini topishdir.
Yana x i, y i nuqtalarning to‘g‘ri chiziqdan kvadrat og‘ishlari yig‘indisiga teng bo‘lgan ph kvadrat shaklini tuzamiz.
va ph minimal bo'lgan a va b qiymatlarini toping
;
.
Bu tenglamalarning birgalikdagi yechimi beradi
(21)
a va b ni aniqlashning o'rtacha kvadratik xatolari teng
(23)
. (24)
Ushbu usul yordamida o'lchov natijalarini qayta ishlashda barcha ma'lumotlarni (19) (24) formulalarga kiritilgan barcha miqdorlar oldindan hisoblab chiqilgan jadvalda umumlashtirish qulay. Ushbu jadvallarning shakllari quyidagi misollarda keltirilgan.
1-misol. Aylanma harakat dinamikasining asosiy tenglamasi e = M/J (koordinata boshi orqali o‘tuvchi to‘g‘ri chiziq) o‘rganildi. M momentining turli qiymatlarida ma'lum bir jismning burchak tezlanishi e o'lchandi. Bu jismning inersiya momentini aniqlash talab qilinadi. Kuch momenti va burchak tezlanishini o'lchash natijalari ikkinchi va uchinchi ustunlarda keltirilgan. jadval 5.
5-jadval
| n | M, N m | e, s -1 | M 2 | M e | e - km | (e - km) 2 |
| 1 | 1.44 | 0.52 | 2.0736 | 0.7488 | 0.039432 | 0.001555 |
| 2 | 3.12 | 1.06 | 9.7344 | 3.3072 | 0.018768 | 0.000352 |
| 3 | 4.59 | 1.45 | 21.0681 | 6.6555 | -0.08181 | 0.006693 |
| 4 | 5.90 | 1.92 | 34.81 | 11.328 | -0.049 | 0.002401 |
| 5 | 7.45 | 2.56 | 55.5025 | 19.072 | 0.073725 | 0.005435 |
| ∑ | | | 123.1886 | 41.1115 | | 0.016436 |
Formula (19) yordamida biz quyidagilarni aniqlaymiz:
.
O'rtacha kvadrat xatoni aniqlash uchun (20) formuladan foydalanamiz.
0.005775kg-1 · m -2 .
Formula (18) bo'yicha bizda mavjud
S J = (2,996 0,005775)/0,3337 = 0,05185 kg m2.
Ishonchliligini P = 0,95 o'rnatib, n = 5 uchun Student koeffitsientlari jadvalidan foydalanib, biz t = 2,78 ni topamiz va DJ = 2,78 0,05185 = 0,1441 ≈ 0,2 mutlaq xatolikni aniqlaymiz. kg m2.
Natijalarni quyidagi shaklda yozamiz:
J = (3,0 ± 0,2) kg m2;
2-misol. Eng kichik kvadratlar usuli yordamida metall qarshiligining harorat koeffitsientini hisoblaymiz. Qarshilik chiziqli ravishda haroratga bog'liq
R t = R 0 (1 + a t°) = R 0 + R 0 a t°.
Erkin atama 0 ° C haroratda R 0 qarshiligini aniqlaydi va Nishab koeffitsienti a harorat koeffitsienti va R 0 qarshiligining mahsulotidir.
O'lchovlar va hisob-kitoblar natijalari jadvalda keltirilgan ( 6-jadvalga qarang).
6-jadval
| n | t°, s | r, Om | t-¯t | (t-¯t) 2 | (t-¯t)r | r - bt - a | (r - bt - a) 2 .10 -6 |
| 1 | 23 | 1.242 | -62.8333 | 3948.028 | -78.039 | 0.007673 | 58.8722 |
| 2 | 59 | 1.326 | -26.8333 | 720.0278 | -35.581 | -0.00353 | 12.4959 |
| 3 | 84 | 1.386 | -1.83333 | 3.361111 | -2.541 | -0.00965 | 93.1506 |
| 4 | 96 | 1.417 | 10.16667 | 103.3611 | 14.40617 | -0.01039 | 107.898 |
| 5 | 120 | 1.512 | 34.16667 | 1167.361 | 51.66 | 0.021141 | 446.932 |
| 6 | 133 | 1.520 | 47.16667 | 2224.694 | 71.69333 | -0.00524 | 27.4556 |
| ∑ | 515 | 8.403 | | 8166.833 | 21.5985 | | 746.804 |
| ∑/n | 85.83333 | 1.4005 | | | | | |
(21), (22) formulalar yordamida aniqlaymiz
R 0 = ¯ R- a R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 ohm.
Keling, a ning ta'rifida xato topaylik. dan boshlab, (18) formulaga muvofiq bizda:
.
Formulalar (23), (24) yordamida biz mavjud
;
0.014126 ohm.
Ishonchlilikni P = 0,95 ga o'rnatib, n = 6 uchun Student koeffitsientlari jadvalidan foydalanib, biz t = 2,57 ni topamiz va mutlaq xatoni aniqlaymiz DA = 2,57 0,000132 = 0,000338 -1 daraja.
a = (23 ± 4) 10 -4 do'l P = 0,95 da -1.
3-misol. Nyuton halqalari yordamida linzalarning egrilik radiusini aniqlash talab qilinadi. Nyuton halqalarining radiuslari r m o’lchandi va bu halqalarning sonlari m aniqlandi. Nyuton halqalarining radiuslari linzaning egrilik radiusi R va halqa raqami tenglama bilan bog'liq.
r 2 m = mLR - 2d 0 R,
bu erda d 0 linza va tekislik-parallel plastinka orasidagi bo'shliqning qalinligi (yoki linzaning deformatsiyasi),
l tushayotgan yorug'likning to'lqin uzunligi.
l = (600 ± 6) nm;
r 2 m = y;
m = x;
lR = b;
-2d 0 R = a,
keyin tenglama shaklni oladi y = a + bx.
.O'lchov va hisob-kitoblarning natijalari kiritiladi jadval 7.
7-jadval
| n | x = m | y = r 2, 10 -2 mm 2 | m -¯ m | (m -¯m) 2 | (m -¯ m)y | y - bx - a, 10 -4 | (y - bx - a) 2 , 10 -6 |
| 1 | 1 | 6.101 | -2.5 | 6.25 | -0.152525 | 12.01 | 1.44229 |
| 2 | 2 | 11.834 | -1.5 | 2.25 | -0.17751 | -9.6 | 0.930766 |
| 3 | 3 | 17.808 | -0.5 | 0.25 | -0.08904 | -7.2 | 0.519086 |
| 4 | 4 | 23.814 | 0.5 | 0.25 | 0.11907 | -1.6 | 0.0243955 |
| 5 | 5 | 29.812 | 1.5 | 2.25 | 0.44718 | 3.28 | 0.107646 |
| 6 | 6 | 35.760 | 2.5 | 6.25 | 0.894 | 3.12 | 0.0975819 |
| ∑ | 21 | 125.129 | | 17.5 | 1.041175 | | 3.12176 |
| ∑/n | 3.5 | 20.8548333 | | | | | |
Oddiy eng kichik kvadratlar (OLS) usuli- ma'lum funktsiyalarning kerakli o'zgaruvchilardan kvadratik og'ishlari yig'indisini minimallashtirishga asoslangan turli muammolarni hal qilish uchun ishlatiladigan matematik usul. U haddan tashqari aniqlangan tenglamalar tizimini "yechish" uchun (tenglamalar soni noma'lumlar sonidan oshib ketganda), oddiy (ortiqcha aniqlanmagan) chiziqli bo'lmagan tenglamalar tizimlarida echimlarni topish uchun, ba'zi birlarining nuqta qiymatlarini taxmin qilish uchun ishlatilishi mumkin. funktsiyasi. OLS - namunaviy ma'lumotlardan regressiya modellarining noma'lum parametrlarini baholash uchun regressiya tahlilining asosiy usullaridan biri.
Entsiklopedik YouTube
1 / 5
✪ Eng kichik kvadratlar usuli. Mavzu
✪ Eng kichik kvadratlar usuli, 1/2-dars. Chiziqli funksiya
✪ Ekonometrika. Ma’ruza 5. Eng kichik kvadratlar usuli
✪ Mitin I.V. - Jismoniy natijalarni qayta ishlash. tajriba - Eng kichik kvadratlar usuli (4-ma'ruza)
✪ Ekonometrika: №2 eng kichik kvadratlar usulining mohiyati
Subtitrlar
Hikoya
19-asr boshlarigacha. olimlar noma'lumlar soni tenglamalar sonidan kam bo'lgan tenglamalar tizimini echish uchun ma'lum qoidalarga ega emas edilar; O'sha vaqtga qadar, tenglamalar turiga va kalkulyatorlarning aqliga bog'liq bo'lgan shaxsiy texnikalar qo'llanilgan va shuning uchun bir xil kuzatish ma'lumotlariga asoslangan turli xil kalkulyatorlar turli xil xulosalarga kelishgan. Usulni birinchi bo'lib Gauss (1795) qo'llagan va Legendre (1805) uni mustaqil ravishda kashf etgan va zamonaviy nomi bilan nashr etgan (frantsuz. Méthode des moindres quarrés). Laplas usulni ehtimollar nazariyasi bilan bog'ladi va amerikalik matematik Adrain (1808) uning ehtimollik-nazariy qo'llanilishini ko'rib chiqdi. Usul Encke, Bessel, Hansen va boshqalarning keyingi tadqiqotlari natijasida keng tarqaldi va takomillashtirildi.
Eng kichik kvadratlar usulining mohiyati
Mayli x (\displaystyle x)- to'plam n (\displaystyle n) noma'lum o'zgaruvchilar (parametrlar), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- bu o'zgaruvchilar to'plamidan funktsiyalar to'plami. Vazifa bunday qiymatlarni tanlashdir x (\displaystyle x), bu funksiyalarning qiymatlari ma'lum qiymatlarga imkon qadar yaqin bo'lishi uchun y i (\displaystyle y_(i)). Aslida, biz haddan tashqari aniqlangan tenglamalar tizimining "yechimi" haqida gapiramiz f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) tizimning chap va o'ng qismlarining maksimal yaqinligining ko'rsatilgan ma'nosida. Eng kichik kvadratlar usulining mohiyati "yaqinlik o'lchovi" sifatida chap va o'ng tomonlarning kvadratik og'ishlari yig'indisini tanlashdir. | f i (x) - y i | (\displaystyle |f_(i)(x)-y_(i)|). Shunday qilib, MNCning mohiyatini quyidagicha ifodalash mumkin:
∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_() i)(x))^(2)\o‘ng strelka \min _(x)).Agar tenglamalar tizimi yechimga ega bo'lsa, u holda kvadratlar yig'indisining minimali nolga teng bo'ladi va tenglamalar tizimining aniq echimlarini analitik yoki, masalan, turli xil raqamli optimallash usullari yordamida topish mumkin. Agar tizim haddan tashqari aniqlangan bo'lsa, ya'ni ochiq aytganda, mustaqil tenglamalar soni kerakli o'zgaruvchilar sonidan ko'p bo'lsa, unda tizim aniq echimga ega emas va eng kichik kvadratlar usuli bizga qandaydir "optimal" vektorni topishga imkon beradi. x (\displaystyle x) vektorlarning maksimal yaqinligi ma'nosida y (\displaystyle y) Va f (x) (\displaystyle f(x)) yoki og'ish vektorining maksimal yaqinligi e (\displaystyle e) nolga (yaqinlik Evklid masofasi ma’nosida tushuniladi).
Misol - chiziqli tenglamalar tizimi
Xususan, chiziqli tenglamalar tizimini “yechish” uchun eng kichik kvadratlar usulidan foydalanish mumkin
A x = b (\displaystyle Ax=b),Qayerda A (\displaystyle A) to'rtburchak o'lchamdagi matritsa m × n , m > n (\displaystyle m\times n,m>n)(ya'ni, A matritsasining qatorlar soni qidirilayotgan o'zgaruvchilar sonidan kattaroq).
Umumiy holatda bunday tenglamalar tizimi yechimga ega emas. Shuning uchun, bu tizim faqat bunday vektorni tanlash ma'nosida "hal qilinishi" mumkin x (\displaystyle x) vektorlar orasidagi "masofani" minimallashtirish A x (\displaystyle Axe) Va b (\displaystyle b). Buning uchun siz tizim tenglamalarining chap va o'ng tomonlari o'rtasidagi farqlarning kvadratlari yig'indisini minimallashtirish mezonini qo'llashingiz mumkin, ya'ni (A x − b) T (A x − b) → min x (\displaystyle (Ax-b)^(T)(Ax-b)\o‘ng strelka \min _(x)). Ushbu minimallashtirish masalasini hal qilish quyidagi tenglamalar tizimini echishga olib kelishini ko'rsatish oson
A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\O‘ng strelka x=(A^(T)A)^(-1)A^ (T)b).Regressiya tahlilida OLS (ma'lumotlarning yaqinlashuvi)
Bo'lsin n (\displaystyle n) ba'zi o'zgaruvchilarning qiymatlari y (\displaystyle y)(bu kuzatishlar, tajribalar va boshqalar natijalari bo'lishi mumkin) va tegishli o'zgaruvchilar x (\displaystyle x). Muammo o'rtasidagi munosabatlarni ta'minlashdir y (\displaystyle y) Va x (\displaystyle x) ba'zi noma'lum parametrlar ichida ma'lum bo'lgan ba'zi funksiyalar bo'yicha taxminan b (\displaystyle b), ya'ni aslida parametrlarning eng yaxshi qiymatlarini toping b (\displaystyle b), qiymatlarni maksimal darajada yaqinlashtirish f (x , b) (\displaystyle f(x,b)) haqiqiy qadriyatlarga y (\displaystyle y). Aslida, bu haddan tashqari aniqlangan tenglamalar tizimini "yechish" holatiga to'g'ri keladi b (\displaystyle b):
F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).
Regressiya tahlilida, xususan, ekonometriyada o'zgaruvchilar o'rtasidagi bog'liqlikning ehtimollik modellari qo'llaniladi.
Y t = f (x t , b) + e t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),
Qayerda e t (\displaystyle \varepsilon _(t))- shunday deyiladi tasodifiy xatolar modellar.
Shunga ko'ra, kuzatilgan qiymatlarning og'ishlari y (\displaystyle y) modelidan f (x , b) (\displaystyle f(x,b)) allaqachon modelning o'zida taxmin qilingan. Eng kichik kvadratlar usulining (oddiy, klassik) mohiyati shunday parametrlarni topishdan iborat b (\displaystyle b), bunda kvadratik og'ishlar yig'indisi (xatolar, regressiya modellari uchun ular ko'pincha regressiya qoldiqlari deb ataladi) e t (\displaystyle e_(t)) minimal bo'ladi:
b ^ O L S = arg min b R S S (b) (\displaystyle (\shapka (b))_(OLS)=\arg \min _(b)RSS(b)),Qayerda R S S (\displaystyle RSS)- Ingliz Kvadratlarning qoldiq yig'indisi quyidagicha aniqlanadi:
R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\sum _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).Umumiy holatda bu muammoni sonli optimallashtirish (minimallashtirish) usullari bilan hal qilish mumkin. Bu holatda ular haqida gapirishadi chiziqli bo'lmagan eng kichik kvadratlar(NLS yoki NLLS - inglizcha chiziqli bo'lmagan eng kichik kvadratlar). Ko'p hollarda analitik yechimni olish mumkin. Minimallashtirish masalasini hal qilish uchun funksiyaning statsionar nuqtalarini topish kerak R S S (b) (\displaystyle RSS(b)), uni noma'lum parametrlarga ko'ra farqlash b (\displaystyle b), hosilalarni nolga tenglash va natijada olingan tenglamalar tizimini yechish:
∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_) (t),b))(\frac (\qisman f(x_(t),b))(\qisman b))=0).Chiziqli regressiya holatida OLS
Regressiyaga bog'liqlik chiziqli bo'lsin:
y t = ∑ j = 1 k b j x t j + e = x t T b + e t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).Mayli y- izohlanayotgan o'zgaruvchining kuzatishlar ustun vektori va X (\displaystyle X)- Bu (n × k) (\displaystyle ((n\times k)))-omilli kuzatishlar matritsasi (matritsa satrlari ma'lum bir kuzatishdagi omil qiymatlari vektorlari, ustunlar barcha kuzatishlarda berilgan omil qiymatlari vektori). Chiziqli modelning matritsa ko'rinishi quyidagi shaklga ega:
y = X b + e (\displaystyle y=Xb+\varepsilon ).U holda tushuntirilgan o'zgaruvchining baholash vektori va regressiya qoldiqlari vektori teng bo'ladi.
y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\shapka (y))=Xb,\quad e=y-(\shapka (y))=y-Xb).Shunga ko'ra, regressiya qoldiqlarining kvadratlari yig'indisi teng bo'ladi
R S S = e T e = (y - X b) T (y - X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).Bu funktsiyani parametrlar vektoriga nisbatan farqlash b (\displaystyle b) va hosilalarni nolga tenglashtirib, biz tenglamalar tizimini olamiz (matritsa shaklida):
(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).Shifrlangan matritsa shaklida ushbu tenglamalar tizimi quyidagicha ko'rinadi:
(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 k ∑ x t 2 x t 3 … 1 t ∑ t … ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (∑ x t k 2) (∑ x t k 2) (b1) (b1) y t ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_(tk)\\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ yig'indisi x_(t2)x_(tk)\\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3) )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix)),) bu erda barcha summalar barcha haqiqiy qiymatlar ustidan olinadi t (\displaystyle t).
Agar konstanta modelga kiritilgan bo'lsa (odatdagidek), u holda x t 1 = 1 (\displaystyle x_(t1)=1) hammaning oldida t (\displaystyle t), shuning uchun tenglamalar sistemasi matritsasining yuqori chap burchagida kuzatishlar soni mavjud. n (\displaystyle n), va birinchi qator va birinchi ustunning qolgan elementlarida - oddiygina o'zgaruvchi qiymatlarining yig'indisi: ∑ x t j (\displaystyle \sum x_(tj)) va tizimning o'ng tomonining birinchi elementi ∑ y t (\displaystyle \sum y_(t)).
Ushbu tenglamalar tizimining yechimi chiziqli model uchun eng kichik kvadratlarni baholashning umumiy formulasini beradi:
b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\shapka (b))_(OLS)=(X^(T) )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\o'ng)^(-1)(\frac (1)(n) ))X^(T)y=V_(x)^(-1)C_(xy)).Analitik maqsadlar uchun ushbu formulaning oxirgi ko'rinishi foydali bo'lib chiqadi (tenglamalar tizimida n ga bo'linganda yig'indi o'rniga arifmetik vositalar paydo bo'ladi). Agar regressiya modelida ma'lumotlar markazlashtirilgan, u holda bu tasvirda birinchi matritsa omillarning tanlanma kovariatsiya matritsasi ma'nosiga ega, ikkinchisi esa bog'liq o'zgaruvchiga ega bo'lgan omillarning kovariantlari vektoridir. Agar qo'shimcha ma'lumotlar ham bo'lsa normallashtirilgan MSE ga (ya'ni, oxir-oqibat standartlashtirilgan), keyin birinchi matritsa omillarning tanlanma korrelyatsiya matritsasi ma'nosiga ega bo'ladi, ikkinchi vektor - bog'liq o'zgaruvchi bilan omillarning tanlama korrelyatsiya vektori.
Modellar uchun OLS baholarining muhim xususiyati doimiy bilan- tuzilgan regressiya chizig'i namuna ma'lumotlarining og'irlik markazidan o'tadi, ya'ni tenglik bajariladi:
y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\shapka (b_(1))))+\sum _(j=2)^(k) (\shapka (b))_(j)(\bar (x))_(j)).Xususan, ekstremal holatda, yagona regressor doimiy bo'lsa, biz yagona parametrning OLS bahosi (konstantaning o'zi) tushuntirilgan o'zgaruvchining o'rtacha qiymatiga teng ekanligini aniqlaymiz. Ya'ni, katta sonlar qonunlaridan o'zining yaxshi xossalari bilan ma'lum bo'lgan o'rtacha arifmetik qiymat ham eng kichik kvadratlar bahosi hisoblanadi - u undan kvadratik chetlanishlarning minimal yig'indisi mezonini qondiradi.
Eng oddiy maxsus holatlar
Juftlangan chiziqli regressiya holatida y t = a + b x t + e t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), bir o'zgaruvchining boshqasiga chiziqli bog'liqligi taxmin qilinganda, hisoblash formulalari soddalashtiriladi (siz matritsa algebrasisiz ham qilishingiz mumkin). Tenglamalar tizimi quyidagi shaklga ega:
(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar) (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar(y))\\ (\overline (xy))\\\end(pmatrix))).Bu erdan koeffitsient baholarini topish oson:
( b ^ = Cov (x , y) Var (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\displaystyle (\begin(holatlar)) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline) (xy))-(\bar (x))(\bar (y))))((\overline (x^(2))))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(holatlar)))Umumiy holatda doimiy bo'lgan modellar afzal bo'lishiga qaramay, ba'zi hollarda nazariy mulohazalardan ma'lumki, doimiy a (\displaystyle a) nolga teng bo'lishi kerak. Masalan, fizikada kuchlanish va oqim o'rtasidagi bog'liqlik U = I ⋅ R (\displaystyle U=I\cdot R); Voltaj va oqimni o'lchashda qarshilikni baholash kerak. Bunday holda, biz model haqida gapiramiz y = b x (\displaystyle y=bx). Bunday holda, tenglamalar tizimi o'rniga bizda bitta tenglama mavjud
(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).
Shuning uchun yagona koeffitsientni baholash formulasi shaklga ega
B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\shapka (b))=(\frac (\sum _(t=1)^(n)x_(t) )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).
Polinom modelining holati
Agar ma'lumotlar bitta o'zgaruvchining polinom regressiya funktsiyasi bilan mos bo'lsa f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \chegaralar _(i=1)^(k)b_(i)x^(i)), keyin, idrok darajalari x i (\displaystyle x^(i)) har biri uchun mustaqil omillar sifatida i (\displaystyle i) chiziqli model parametrlarini baholashning umumiy formulasi asosida model parametrlarini baholash mumkin. Buning uchun umumiy formulada bunday talqin bilan hisobga olish kifoya x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) Va x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Shunday qilib, bu holda matritsa tenglamalari quyidagi shaklni oladi:
(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x t 2 … ∑ n x t k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k … b ∑ n x t k + 12) ⋮ b k ] = [ ∑ n y t ∑ n x t y t ⋮ ∑ n x t k y t ]. (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ summa \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatritsa))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatritsa)).
OLS baholovchilarining statistik xususiyatlari
Avvalo shuni ta'kidlaymizki, chiziqli modellar uchun OLS baholari yuqoridagi formuladan kelib chiqqan holda chiziqli taxminlardir. Ob'ektiv OLS baholashlari uchun regressiya tahlilining eng muhim shartini bajarish zarur va etarli: omillarga bog'liq bo'lgan tasodifiy xatoning matematik kutilishi nolga teng bo'lishi kerak. Bu shart, xususan, agar qondiriladi
- tasodifiy xatolarning matematik kutish nolga teng, va
- omillar va tasodifiy xatolar mustaqil tasodifiy o‘zgaruvchilardir.
Ikkinchi shart - omillarning ekzogenlik sharti - asosiy hisoblanadi. Agar bu xususiyat bajarilmasa, deyarli har qanday hisob-kitoblar juda qoniqarsiz bo'ladi deb taxmin qilishimiz mumkin: ular hatto izchil bo'lmaydi (ya'ni, hatto juda katta miqdordagi ma'lumotlar ham bu holatda yuqori sifatli hisob-kitoblarni olishga imkon bermaydi). ). Klassik holatda tasodifiy xatodan farqli o'laroq, omillarning determinizmi haqida kuchliroq taxmin qilinadi, bu avtomatik ravishda ekzogenlik sharti bajarilganligini bildiradi. Umumiy holda, hisob-kitoblarning izchilligi uchun matritsaning yaqinlashuvi bilan birga ekzogenlik shartini qondirish kifoya. V x (\displaystyle V_(x)) ba'zi bir yagona bo'lmagan matritsaga, chunki namuna hajmi cheksizgacha oshadi.
Muvofiqlik va xolislikdan tashqari (oddiy) eng kichik kvadratlarni baholash ham samarali bo'lishi uchun (chiziqli xolis baholar sinfidagi eng yaxshisi) tasodifiy xatoning qo'shimcha xususiyatlariga rioya qilish kerak:
Ushbu taxminlar tasodifiy xato vektorining kovariatsiya matritsasi uchun shakllantirilishi mumkin V (e) = s 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).
Ushbu shartlarni qondiradigan chiziqli model deyiladi klassik. Klassik chiziqli regressiya uchun OLS baholari xolis, izchil va barcha chiziqli xolis baholar sinfidagi eng samarali baholardir (ingliz adabiyotida ba'zan qisqartma ishlatiladi). KO‘K (Eng yaxshi chiziqli xolis baholovchi) - eng yaxshi chiziqli xolis baho; Rus adabiyotida Gauss-Markov teoremasi ko'proq keltiriladi). Ko'rsatish oson bo'lganidek, koeffitsientlarni baholash vektorining kovariatsiya matritsasi quyidagilarga teng bo'ladi:
V (b ^ O L S) = s 2 (X T X) - 1 (\displaystyle V((\shapka (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1) )).
Samaradorlik shuni anglatadiki, bu kovariatsiya matritsasi "minimal" (koeffitsientlarning har qanday chiziqli birikmasi, xususan, koeffitsientlarning o'zlari minimal dispersiyaga ega), ya'ni chiziqli xolis baholovchilar sinfida OLS baholovchilari eng yaxshisidir. Ushbu matritsaning diagonal elementlari - koeffitsient baholarining dispersiyalari - olingan baholar sifatining muhim parametrlari hisoblanadi. Biroq, kovariatsiya matritsasi hisoblab bo'lmaydi, chunki tasodifiy xato dispersiyasi noma'lum. Tasodifiy xatolar dispersiyasining xolis va izchil (klassik chiziqli model uchun) bahosi miqdor ekanligini isbotlash mumkin:
S 2 = R S S / (n - k) (\displaystyle s^(2)=RSS/(n-k)).
Ushbu qiymatni kovariatsiya matritsasi formulasiga almashtirib, biz kovariatsiya matritsasining taxminiy qiymatini olamiz. Olingan hisob-kitoblar ham xolis va izchil. Xato dispersiyasini (va shuning uchun koeffitsientlarning dispersiyasini) baholash va model parametrlarini baholash mustaqil tasodifiy o'zgaruvchilar bo'lishi ham muhimdir, bu esa model koeffitsientlari haqidagi gipotezalarni tekshirish uchun test statistikasini olish imkonini beradi.
Shuni ta'kidlash kerakki, agar klassik taxminlar bajarilmasa, OLS parametrlarini baholash eng samarali emas va bu erda W (\displaystyle W) ba'zi bir simmetrik musbat aniq og'irlik matritsasi. An'anaviy eng kichik kvadratlar bu yondashuvning alohida holati bo'lib, unda og'irlik matritsasi identifikatsiya matritsasiga mutanosibdir. Ma'lumki, simmetrik matritsalar (yoki operatorlar) uchun kengayish mavjud W = P T P (\displaystyle W=P^(T)P). Shuning uchun ko'rsatilgan funktsiyani quyidagicha ifodalash mumkin e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), ya'ni bu funktsiyani ba'zi o'zgartirilgan "qoldiqlar" kvadratlari yig'indisi sifatida ifodalash mumkin. Shunday qilib, biz eng kichik kvadratlar usullari sinfini - LS usullarini (Eng kichik kvadratlar) ajratishimiz mumkin.
Umumlashtirilgan chiziqli regressiya modeli uchun (tasodifiy xatolarning kovariatsiya matritsasiga hech qanday cheklovlar qo'yilmagan) eng samarali (chiziqli xolis baholar sinfida) taxminlar deb ataladiganligi isbotlangan (Aitken teoremasi). umumlashtirilgan eng kichik kvadratlar (GLS - umumlashtirilgan eng kichik kvadratlar)- tasodifiy xatolarning teskari kovariatsiya matritsasiga teng vazn matritsasi bilan LS usuli: W = V e − 1 (\displaystyle W=V_(\varepsilon )^(-1)).
Chiziqli model parametrlarini GLS baholash formulasi shaklga ega ekanligini ko'rsatish mumkin
B ^ G L S = (X T V - 1 X) - 1 X T V - 1 y (\displaystyle (\shapka (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).
Bu baholarning kovariatsiya matritsasi mos ravishda teng bo'ladi
V (b ^ G L S) = (X T V - 1 X) - 1 (\displaystyle V((\shapka (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).
Aslida, OLSning mohiyati dastlabki ma'lumotlarning ma'lum (chiziqli) transformatsiyasida (P) va o'zgartirilgan ma'lumotlarga oddiy OLSni qo'llashda yotadi. Ushbu transformatsiyaning maqsadi shundaki, o'zgartirilgan ma'lumotlar uchun tasodifiy xatolar allaqachon klassik taxminlarni qondiradi.
Og'irlangan OLS
Diagonal og'irlik matritsasi (va shuning uchun tasodifiy xatolarning kovariatsiya matritsasi) bo'lsa, bizda eng kichik kvadratlar (WLS) deb ataladigan narsa bor. Bunday holda, model qoldiqlari kvadratlarining vaznli yig'indisi minimallashtiriladi, ya'ni har bir kuzatuv ushbu kuzatishdagi tasodifiy xatoning dispersiyasiga teskari proportsional bo'lgan "og'irlik" ni oladi: e T W e = ∑ t = 1 n e t 2 s t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). Darhaqiqat, ma'lumotlar kuzatuvlarni tortish yo'li bilan o'zgartiriladi (tasodifiy xatolarning taxminiy standart og'ishiga proportsional miqdorga bo'linadi) va vaznli ma'lumotlarga oddiy OLS qo'llaniladi.
ISBN 978-5-7749-0473-0 .
Misol.
O'zgaruvchilar qiymatlari bo'yicha eksperimental ma'lumotlar X Va da jadvalda keltirilgan. 
Ularning hizalanishi natijasida funktsiya olinadi 
Foydalanish eng kichik kvadrat usuli, bu ma'lumotlarni chiziqli bog'liqlik bilan yaqinlashtiring y=ax+b(parametrlarni toping A Va b). Ikki qatordan qaysi biri yaxshiroq (eng kichik kvadratlar usuli ma'nosida) tajriba ma'lumotlarini tekislashini aniqlang. Chizma qiling.
Eng kichik kvadratlar usulining (LSM) mohiyati.
Vazifa ikkita o'zgaruvchining funktsiyasi bajariladigan chiziqli bog'liqlik koeffitsientlarini topishdir A Va b 
eng kichik qiymatni oladi. Ya'ni, berilgan A Va b eksperimental ma'lumotlarning topilgan to'g'ri chiziqdan kvadrat og'ishlari yig'indisi eng kichik bo'ladi. Bu eng kichik kvadratlar usulining butun nuqtasidir.
Shunday qilib, misolni yechish ikkita o'zgaruvchining funksiyasining ekstremumini topishga to'g'ri keladi.
Koeffitsientlarni topish formulalarini chiqarish.
Ikki noma’lumli ikkita tenglamalar sistemasi tuziladi va yechiladi. Funktsiyaning o'zgaruvchilarga nisbatan qisman hosilalarini topish A Va b, bu hosilalarni nolga tenglashtiramiz. 
Olingan tenglamalar tizimini har qanday usul yordamida echamiz (masalan almashtirish usuli bilan yoki ) va eng kichik kvadratlar usuli (LSM) yordamida koeffitsientlarni topish formulalarini oling. 
Berilgan A Va b funktsiyasi eng kichik qiymatni oladi. Bu faktning isboti keltirilgan.
Bu eng kichik kvadratlarning butun usuli. Parametrni topish uchun formula a, , , va parametrlarini o'z ichiga oladi n- eksperimental ma'lumotlar miqdori. Ushbu miqdorlarning qiymatlarini alohida hisoblashni tavsiya etamiz. Koeffitsient b hisoblashdan keyin topiladi a.
Asl misolni eslash vaqti keldi.
Yechim.
Bizning misolimizda n=5. Kerakli koeffitsientlar formulalariga kiritilgan miqdorlarni hisoblash qulayligi uchun jadvalni to'ldiramiz. 
Jadvalning to'rtinchi qatoridagi qiymatlar har bir raqam uchun 2-qatorning qiymatlarini 3-qatorning qiymatlariga ko'paytirish yo'li bilan olinadi. i.
Jadvalning beshinchi qatoridagi qiymatlar har bir raqam uchun 2-qatordagi qiymatlarni kvadratga solish orqali olinadi. i.
Jadvalning oxirgi ustunidagi qiymatlar qatorlar bo'ylab qiymatlarning yig'indisidir.
Koeffitsientlarni topish uchun eng kichik kvadratlar usuli formulalaridan foydalanamiz A Va b. Jadvalning oxirgi ustunidagi tegishli qiymatlarni ularga almashtiramiz: 
Demak, y = 0,165x+2,184- kerakli yaqinlashuvchi to'g'ri chiziq.
Chiziqlarning qaysi biri ekanligini aniqlash uchun qoladi y = 0,165x+2,184 yoki dastlabki ma'lumotlarni yaxshiroq yaqinlashtiradi, ya'ni eng kichik kvadratlar usulidan foydalangan holda baho beradi.
Eng kichik kvadratlar usulini xato baholash.
Buning uchun ushbu satrlardan dastlabki ma'lumotlarning kvadratik og'ishlari yig'indisini hisoblashingiz kerak 
Va 
, kichikroq qiymat eng kichik kvadratlar usuli ma'nosida asl ma'lumotlarni yaxshiroq yaqinlashtiradigan chiziqqa mos keladi. 
dan beri, keyin to'g'ri y = 0,165x+2,184 asl ma'lumotlarga yaxshiroq yaqinlashadi.
Eng kichik kvadratlar (LS) usulining grafik tasviri.
Grafiklarda hamma narsa aniq ko'rinadi. Qizil chiziq topilgan to'g'ri chiziqdir y = 0,165x+2,184, ko'k chiziq , pushti nuqtalar asl ma'lumotlardir.
Bu nima uchun kerak, nega bu barcha taxminlar?
Shaxsan men undan ma'lumotlarni tekislash, interpolyatsiya va ekstrapolyatsiya muammolarini hal qilish uchun foydalanaman (asl misolda ulardan kuzatilgan qiymatning qiymatini topish so'ralishi mumkin) y da x=3 yoki qachon x=6 eng kichik kvadratlar usuli yordamida). Ammo bu haqda keyinroq saytning boshqa bo'limida gaplashamiz.
Isbot.
Shunday qilib, topilganda A Va b funktsiya eng kichik qiymatni oladi, bu nuqtada funktsiya uchun ikkinchi tartibli differentsialning kvadrat shaklining matritsasi bo'lishi kerak. ijobiy aniqlangan edi. Keling, ko'rsataylik.
3.5. Eng kichik kvadrat usuli
Eng kichik kvadratlar usuliga asos solgan birinchi ish 1805-yilda Legendre tomonidan amalga oshirilgan.“Kometalarning orbitalarini aniqlashning yangi usullari” maqolasida u shunday yozgan edi: “Masalaning barcha shartlari toʻliq qoʻllanilgandan soʻng, koeffitsientlarni aniqlash kerak, shunda ularning xatolarining kattaligi mumkin bo'lgan eng kichik bo'ladi. Bunga erishishning eng oddiy usuli bu kvadratik xatolarning minimal yig‘indisini topishdan iborat bo‘lgan usuldir.” Hozirgi vaqtda bu usul eng yaxshi yaqinlashtirilgan analitik ifodani olish uchun ko‘plab eksperimental namunalar tomonidan belgilangan noma’lum funksional bog‘liqliklarni yaqinlashtirishda juda keng qo‘llaniladi. to'liq miqyosli eksperimentga.
Tajriba asosida miqdorning funksional bog'liqligini aniqlash kerak bo'lsin y dan x : Tajriba natijasida olingan deb faraz qilaylikn qiymatlar yargumentning mos qiymatlari uchunx. Agar eksperimental nuqtalar rasmdagi kabi koordinata tekisligida joylashgan bo'lsa, u holda tajriba davomida xatolar yuzaga kelishini bilib, biz bog'liqlikni chiziqli deb hisoblashimiz mumkin, ya'ni.y= bolta+ bE'tibor bering, usul funktsiya turiga cheklovlar qo'ymaydi, ya'ni. u har qanday funktsional bog'liqlikka qo'llanilishi mumkin.
Tajribachi nuqtai nazaridan ko'pincha namuna olish ketma-ketligini hisobga olish tabiiyroqdiroldindan belgilangan, ya'ni. mustaqil oʻzgaruvchi boʻlib, hisobga olinadi - qaram o'zgaruvchi.Bu, ayniqsa, ostida bo'lsa aniq texnik ilovalarda eng ko'p qo'llaniladigan vaqt momentlari sifatida tushuniladi, ammo bu juda keng tarqalgan maxsus holat. Masalan, ba'zi namunalarni hajmi bo'yicha tasniflash kerak. Keyin mustaqil o'zgaruvchi namuna raqami bo'ladi, qaram o'zgaruvchi uning individual hajmi bo'ladi.
Eng kichik kvadratlar usuli ko'plab o'quv va ilmiy nashrlarda, ayniqsa, elektrotexnika va radiotexnikadagi funktsiyalarni yaqinlashtirish nuqtai nazaridan, shuningdek, ehtimollar nazariyasi va matematik statistika bo'yicha kitoblarda batafsil tavsiflangan.
Keling, rasmga qaytaylik. Nuqtali chiziqlar xatoliklar nafaqat o‘lchash protseduralarining nomukammalligi, balki mustaqil o‘zgaruvchini ko‘rsatishdagi noaniqlik tufayli ham yuzaga kelishi mumkinligini ko‘rsatadi.Tanlangan funksiya turi bilan. 
Unga kiritilgan parametrlarni tanlashgina qoladia Va bParametrlar soni ikkitadan ko'p bo'lishi aniq, bu faqat chiziqli funktsiyalar uchun xosdir.Umuman olganda, biz taxmin qilamiz.
.(1)
Imkoniyatlarni tanlashingiz keraka, b, c... shart bajarilishi uchun
.
(2)
Keling, qiymatlarni topamiz a, b, c..., (2) ning chap tomonini minimal darajaga aylantiring. Buning uchun (2) ning chap tomonini ga nisbatan farqlash orqali statsionar nuqtalarni (birinchi hosila yo‘qolib ketadigan nuqtalarni) aniqlaymiz.a, b, c:
(3)
Hosil boʻlgan tenglamalar tizimi nomaʼlumlar soniga teng tenglamalarni oʻz ichiga oladia, b, c…. Bunday sistemani umumiy shaklda yechish mumkin emas, shuning uchun hech bo'lmaganda, taxminan, muayyan turdagi funktsiyani ko'rsatish kerak.Keyingi ikkita holatni ko'rib chiqamiz: chiziqli va kvadratik funktsiyalar.
Chiziqli funksiya .
Keling, mos nuqtalardagi eksperimental qiymatlar va funktsiya qiymatlari o'rtasidagi kvadrat farqlar yig'indisini ko'rib chiqaylik:
(4)
Parametrlarni tanlaymiza Va bshuning uchun bu miqdor eng kichik qiymatga ega bo'ladi. Shunday qilib, vazifa qiymatlarni topishga to'g'ri keladia Va b, bunda funktsiya minimalga ega, ya'ni ikkita mustaqil o'zgaruvchining funktsiyasini o'rganisha Va bminimal darajada. Buning uchun biz farqlaymiza Va b:
;
.
Yoki
(5)
Tajriba ma'lumotlarini va o'rniga qo'yib, ikkita noma'lumli ikkita chiziqli tenglamalar tizimini olamiza Va b. Ushbu tizimni hal qilib, biz funktsiyani yozishimiz mumkin.
Keling, topilgan qiymatlar uchun ishonch hosil qilaylika Va bminimumga ega. Buning uchun biz topamiz, va:
, 
, .
Demak,
− = 
,
>0,
bular. ikkita o'zgaruvchili funktsiya uchun etarli minimal shart bajariladi.
Kvadrat funksiya 
.
Tajriba funksiyaning nuqtalardagi qiymatlarini olsin. Shuningdek, aprior ma'lumotlarga asoslanib, funktsiya kvadratik degan taxmin mavjud bo'lsin:
.
Biz koeffitsientlarni topishimiz keraka, b Va c.Bizda ... bor
- uchta o'zgaruvchining funktsiyasia,
b,
c.
Bu holda tizim (3) quyidagi shaklni oladi:
Yoki:
Ushbu chiziqli tenglamalar tizimini yechib, noma'lumlarni aniqlaymiza, b, c.
Misol.Tajriba asosida kerakli funktsiyaning to'rtta qiymati olinsin y = (x ) jadvalda keltirilgan argumentning to'rtta qiymati bilan:
. Bu funksiya deyiladi yaqinlashtirish
(taxminlash - yaqinlashish) yoki nazariy funktsiya
. Umuman olganda, bu erda darhol aniq "davogar" paydo bo'ladi - grafigi HAMMA nuqtalardan o'tadigan yuqori darajali polinom. Ammo bu variant murakkab va ko'pincha oddiygina noto'g'ri. (chunki grafik har doim "aylanib turadi" va asosiy tendentsiyani yomon aks ettiradi).
)
va bunday yig'ish natijasida og'ishlar bir-birini bekor qiladi. Shuning uchun, yaqinlashishning to'g'riligini baholash uchun yig'indini olishni iltimos qiladi. modullar og'ishlar:
yoki qulab tushdi: (agar kimdir bilmasa: - bu yig'indi belgisi va - 1 dan ga gacha bo'lgan qiymatlarni qabul qiluvchi yordamchi "hisoblagich" o'zgaruvchisi).
, shundan so'ng harakatlar kvadrat og'ishlar yig'indisi bo'ladigan funktsiyani tanlashga qaratilgan 
imkon qadar kichik edi. Aslida, bu usulning nomi qaerdan keladi.
chizma ustida va ularning joylashuvini tahlil qiling. Agar ular tekis chiziqda yugurishga moyil bo'lsa, unda siz izlashingiz kerak chiziq tenglamasi 
optimal qiymatlar bilan va . Boshqacha qilib aytganda, vazifa kvadrat og'ishlar yig'indisi eng kichik bo'lishi uchun BUNDAY koeffitsientlarni topishdir.
- kvadratlarning minimal yig'indisini beradiganlar 
.
eng kichiki edi. Hammasi odatdagidek - birinchi navbatda 1-tartibli qisman hosilalar. Ga binoan chiziqlilik qoidasi Siz to'g'ridan-to'g'ri yig'indi belgisi ostida farqlashingiz mumkin: 
topa olamizmi? Osonlik bilan. Keling, eng oddiyini qilaylik ikkita noma'lumli ikkita chiziqli tenglamalar tizimi("a" va "bo'l"). Biz tizimni hal qilamiz, masalan, Kramer usuli, buning natijasida biz statsionar nuqtani olamiz. Tekshirish ekstremum uchun etarli shart, biz ushbu nuqtada funktsiyani tekshirishimiz mumkin 
aniq yetib boradi eng kam. Tekshiruv qo'shimcha hisob-kitoblarni o'z ichiga oladi va shuning uchun biz uni sahna ortida qoldiramiz (agar kerak bo'lsa, etishmayotgan ramkani ko'rish mumkin). Yakuniy xulosa chiqaramiz:
eng yaxshi yo'l (hech bo'lmaganda boshqa har qanday chiziqli funktsiyaga nisbatan) tajriba nuqtalarini yaqinlashtiradi 
. Taxminan aytganda, uning grafigi bu nuqtalarga imkon qadar yaqin o'tadi. An'anaga ko'ra ekonometriya olingan yaqinlashuvchi funksiya ham deyiladi juft chiziqli regressiya tenglamasi
.
qanday savdo aylanmasini bashorat qilish imkonini beradi ("Igrek") do'kon savdo maydonining u yoki bu qiymatiga ega bo'ladi ("x" ning u yoki bu ma'nosi). Ha, natijada olingan prognoz faqat prognoz bo'ladi, lekin ko'p hollarda u juda aniq bo'lib chiqadi.
. Empirik va nazariy qiymatlar orasidagi kvadratik og‘ishlar yig‘indisini toping. Bu xususiyat yaxshiroq bo'ladimi yoki yo'qligini bilib oling (eng kichik kvadratlar usuli nuqtai nazaridan) eksperimental nuqtalarni yaqinlashtirish.
ma'lum bir ko'rsatkichning 1 birlikka o'sishi bilan bog'liq ko'rsatkichning qiymati kamayishini aytadi o'rtacha 0,65 birlikka. Ular aytganidek, grechkaning narxi qancha yuqori bo'lsa, shuncha kam sotiladi.
empirik va nazariy qadriyatlar o'rtasida. Geometrik jihatdan, bu "malina" segmentlarining uzunliklari kvadratlarining yig'indisi (ikkitasi shunchalik kichikki, ular hatto ko'rinmaydi).
ko'rsatkich eng kichik, ya'ni uning oilasida bu eng yaxshi yaqinlikdir. Va bu erda, aytmoqchi, muammoning yakuniy savoli tasodifiy emas: agar taklif qilingan eksponensial funktsiya nima bo'lsa? 
eksperimental nuqtalarni yaqinlashtirish yaxshiroqmi?
.
- shunchalik ko'pki, analitik tadqiqotlarsiz qaysi funktsiya aniqroq ekanligini aytish qiyin.
