Eng kichik kvadratlar - a va b qiymatlarini, to'g'ri chiziq tenglamasidagi koeffitsientlarni topish orqali tartiblangan juftliklar to'plamiga eng mos keladigan chiziqli tenglamani qurishning matematik protsedurasi. Eng kichik kvadratlar usulining maqsadi y va ŷ qiymatlari orasidagi umumiy kvadrat xatoni minimallashtirishdir. Agar har bir nuqta uchun ŷ xatosini aniqlasak, eng kichik kvadratlar usuli minimallashtiradi:

Bu erda n = chiziq atrofidagi tartiblangan juftliklar soni. ma'lumotlarga eng mos keladi.

Ushbu kontseptsiya rasmda ko'rsatilgan

Rasmga ko'ra, ma'lumotlarga eng mos keladigan chiziq, regressiya chizig'i, grafikdagi to'rtta nuqtaning umumiy kvadrat xatosini minimallashtiradi. Men buni eng kichik kvadratlar usuli yordamida qanday aniqlashni quyidagi misolda ko'rsataman.

Tasavvur qiling-a, yosh er-xotin yaqinda birga yashab, hammom stolini baham ko'radi. Yigit stolining yarmi muqarrar ravishda qisqarib borayotganini, sochlar uchun mouss va soya komplekslarini yo'qotayotganini payqab qoldi. So'nggi bir necha oy ichida yigit stolning uning qismidagi narsalar soni ortib borayotgan tezligini diqqat bilan kuzatib bordi. Quyidagi jadvalda qizning hammom stolida so'nggi bir necha oy ichida to'plangan narsalar soni ko'rsatilgan.

Maqsadimiz vaqt o'tishi bilan elementlar soni ortib borishini aniqlash bo'lganligi sababli, "Oy" mustaqil o'zgaruvchi, "Elementlar soni" esa bog'liq o'zgaruvchi bo'ladi.

Eng kichik kvadratlar usulidan foydalanib, biz y o'qidagi a segmenti va b chiziqning qiyaligi qiymatlarini hisoblash orqali ma'lumotlarga eng mos keladigan tenglamani aniqlaymiz:

a = y cf - bx cf

bu yerda x cf - mustaqil o'zgaruvchining o'rtacha qiymati, y cf - mustaqil o'zgaruvchining o'rtacha qiymati.

Quyidagi jadvalda ushbu tenglamalar uchun zarur bo'lgan hisob-kitoblar jamlangan.

Vanna misolimiz uchun effekt egri chizig'i quyidagi tenglama bilan berilgan bo'ladi:

Bizning tenglamamiz 0,976 ga teng musbat qiyalikka ega bo'lganligi sababli, yigit stoldagi narsalar soni vaqt o'tishi bilan oyiga o'rtacha 1 ta elementga ko'payishini isbotladi. Grafikda tartiblangan juftliklar bilan effekt egri chizig'i ko'rsatilgan.

Keyingi yarim yil (16-oy) uchun kutilayotgan ob'ektlar soni quyidagicha hisoblanadi:

ŷ = 5,13 + 0,976x = 5,13 + 0,976(16) ~ 20,7 = 21 ta element

Shunday qilib, bizning qahramonimizga qandaydir chora ko'rish vaqti keldi.

Excelda TREND funksiyasi

Siz taxmin qilganingizdek, Excelda qiymatni hisoblash funktsiyasi mavjud eng kichik kvadratlar usuli. Bu xususiyat TREND deb ataladi. Uning sintaksisi quyidagicha:

TREND (ma'lum Y qiymatlari; ma'lum X qiymatlari; yangi X qiymatlari; const)

Y ning ma'lum qiymatlari - bog'liq o'zgaruvchilar qatori, bizning holatlarimizda jadvaldagi elementlar soni

X ning ma'lum qiymatlari - mustaqil o'zgaruvchilar qatori, bizning holatlarimizda bu bir oy

yangi X qiymatlari - yangi X (oy) qiymatlari TREND funksiyasi qaram o'zgaruvchilarning kutilgan qiymatini qaytaradi (moddalar soni)

const - ixtiyoriy. b doimiysi 0 bo'lishi kerakligini ko'rsatadigan mantiqiy qiymat.

Misol uchun, rasmda 16-oy uchun hammom stolidagi kutilgan narsalar sonini aniqlash uchun ishlatiladigan TREND funktsiyasi ko'rsatilgan.

Eng kichik kvadrat usuli regressiya tenglamasining parametrlarini baholash uchun ishlatiladi.

Chiziqlar soni (dastlabki ma'lumotlar)

Xususiyatlar orasidagi stokastik munosabatlarni o'rganish usullaridan biri regressiya tahlilidir.
Regressiya tahlili - regressiya tenglamasining hosilasi bo'lib, agar boshqa (yoki boshqa) o'zgaruvchilarning (xususiyat-omillar) qiymati ma'lum bo'lsa, tasodifiy o'zgaruvchining (xususiyat-natija) o'rtacha qiymatini topish uchun foydalaniladi. U quyidagi bosqichlarni o'z ichiga oladi:

1. ulanish shaklini tanlash (analitik regressiya tenglamasining turi);
2. tenglama parametrlarini baholash;
3. analitik regressiya tenglamasining sifatini baholash.

Ko'pincha, chiziqli shakl xususiyatlarning statistik munosabatlarini tavsiflash uchun ishlatiladi. Chiziqli munosabatlarga e'tibor uning parametrlarining aniq iqtisodiy talqini bilan izohlanadi, o'zgaruvchilarning o'zgarishi bilan chegaralanadi va ko'p hollarda munosabatlarning nochiziqli shakllari (logarifmlarni olish yoki o'zgaruvchilarni o'zgartirish orqali) chiziqli munosabatlarga aylantiriladi. hisob-kitoblarni amalga oshirish uchun shakl.
Chiziqli juft munosabatda regressiya tenglamasi quyidagi ko rinishda bo ladi: y i =a+b·x i +u i . Bu tenglamaning parametrlari a va b statistik kuzatish ma'lumotlari bo'yicha baholanadi x va y . Bunday baholashning natijasi tenglama bo'ladi: , bu erda , - a va b parametrlarining baholari , - regressiya tenglamasi (hisoblangan qiymat) bilan olingan samarali xususiyat (o'zgaruvchi) qiymati.

Parametrlarni baholash uchun eng ko'p ishlatiladigan Eng kichik kvadratlar usuli (LSM).
Eng kichik kvadratlar usuli regressiya tenglamasi parametrlarining eng yaxshi (barqaror, samarali va xolis) baholarini beradi. Biroq, faqat tasodifiy atama (u) va mustaqil o'zgaruvchi (x) haqida ma'lum taxminlar bajarilsa (OLS taxminlariga qarang).

Chiziqli juftlik tenglama parametrlarini eng kichik kvadratlar usulida baholash masalasi quyidagilardan iborat: parametrlarning bunday baholarini olish uchun , , bunda samarali xususiyatning haqiqiy qiymatlarining kvadratik og'ishlarining yig'indisi - y i hisoblangan qiymatlardan minimal bo'ladi.
Rasmiy ravishda OLS mezoni shunday yozilishi mumkin: .

Eng kichik kvadratlar usullarini tasniflash

1. Eng kichik kvadrat usuli.
2. Maksimal ehtimollik usuli (oddiy klassik chiziqli regressiya modeli uchun regressiya qoldiqlarining normalligi taxmin qilingan).
3. GLSM ning umumlashtirilgan eng kichik kvadratlar usuli xato avtokorrelyatsiyasi va geteroskedastizm holatlarida qo'llaniladi.
4. Og'irlangan eng kichik kvadratlar usuli (heteroskedastik qoldiqlar bilan GLSM ning alohida holati).

Mohiyatni tasvirlab bering eng kichik kvadratlarning klassik usuli. Buning uchun kuzatuv ma’lumotlariga (x i, y i, i=1;n) ko‘ra to‘g‘ri to‘rtburchak koordinatalar sistemasida (bunday nuqtali chizma korrelyatsiya maydoni deb ataladi) nuqta chizmasini quramiz. Keling, korrelyatsiya maydonining nuqtalariga eng yaqin bo'lgan to'g'ri chiziqni topishga harakat qilaylik. Eng kichik kvadratlar usuliga ko'ra, chiziq korrelyatsiya maydoni nuqtalari va bu chiziq orasidagi kvadrat vertikal masofalar yig'indisi minimal bo'lishi uchun tanlanadi.

Ushbu muammoning matematik belgilari: .
y i va x i =1...n qiymatlari bizga ma’lum, bular kuzatish ma’lumotlari. S funksiyada ular doimiydir. Ushbu funktsiyadagi o'zgaruvchilar parametrlarning kerakli taxminlari - , . 2 ta o'zgaruvchidan iborat funktsiyaning minimalini topish uchun ushbu funktsiyaning har bir parametrga nisbatan qisman hosilalarini hisoblash va ularni nolga tenglashtirish kerak, ya'ni. .
Natijada biz ikkita oddiy chiziqli tenglamalar tizimini olamiz:
Ushbu tizimni yechish orqali biz kerakli parametr baholarini topamiz:

Regressiya tenglamasining parametrlarini hisoblashning to'g'riligini yig'indilarni solishtirish orqali tekshirish mumkin (hisob-kitoblarni yaxlitlash tufayli ba'zi nomuvofiqliklar bo'lishi mumkin).
Parametrlarni hisoblash uchun siz 1-jadvalni tuzishingiz mumkin.
Regressiya koeffitsienti b belgisi munosabatlarning yo'nalishini ko'rsatadi (agar b > 0 bo'lsa, bog'liqlik to'g'ridan-to'g'ri, agar b bo'lsa.<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Rasmiy ravishda, a parametrining qiymati nolga teng bo'lgan x uchun y ning o'rtacha qiymati. Agar belgi-omil nol qiymatiga ega bo'lmasa va bo'lishi ham mumkin bo'lmasa, u holda a parametrining yuqoridagi talqini mantiqiy emas.

Xususiyatlar orasidagi bog'lanishning mustahkamligini baholash chiziqli juft korrelyatsiya koeffitsienti yordamida amalga oshiriladi - r x,y . Uni quyidagi formula yordamida hisoblash mumkin: . Bundan tashqari, chiziqli juft korrelyatsiya koeffitsienti b regressiya koeffitsienti nuqtai nazaridan aniqlanishi mumkin: .
Juftlik korrelyatsiyasining chiziqli koeffitsientining ruxsat etilgan qiymatlari diapazoni -1 dan +1 gacha. Korrelyatsiya koeffitsientining belgisi munosabatlarning yo'nalishini ko'rsatadi. Agar r x, y >0 bo'lsa, u holda ulanish to'g'ridan-to'g'ri bo'ladi; agar r x, y bo'lsa<0, то связь обратная.
Agar ushbu koeffitsient modul bo'yicha birlikka yaqin bo'lsa, u holda xususiyatlar o'rtasidagi munosabatlar juda yaqin chiziqli deb talqin qilinishi mumkin. Agar uning moduli bitta ê r x, y ê =1 ga teng bo'lsa, u holda xususiyatlar orasidagi bog'lanish funksional chiziqli bo'ladi. Agar x va y xususiyatlar chiziqli mustaqil bo'lsa, r x,y 0 ga yaqin.
r x,y ni hisoblash uchun 1-jadvaldan ham foydalanish mumkin.

1-jadval

N kuzatish	x i	y i	x i ∙ y i
1	x 1	y 1	x 1 y 1
2	x2	y2	x 2 y 2
...
n	x n	y n	x n y n
Ustun summasi	∑x	∑y	∑x y
O'rtacha qiymati

Olingan regressiya tenglamasining sifatini baholash uchun nazariy aniqlash koeffitsienti hisoblanadi - R 2 yx:

,
bu yerda d 2 - regressiya tenglamasi bilan izohlangan y dispersiya;
e 2 - qoldiq (regressiya tenglamasi bilan izohlanmagan) dispersiya y ;
s 2 y - umumiy (jami) dispersiya y.
Determinatsiya koeffitsienti regressiya (demak, x omil) bilan izohlanadigan natijaviy y xususiyatning oʻzgaruvchanlik (dispersiya) y umumiy oʻzgarishdagi (dispersiya) ulushini tavsiflaydi. Aniqlash koeffitsienti R 2 yx 0 dan 1 gacha bo'lgan qiymatlarni oladi. Shunga ko'ra, 1-R 2 yx qiymati model va spetsifikatsiya xatolarida hisobga olinmagan boshqa omillar ta'siridan kelib chiqadigan y dispersiya ulushini tavsiflaydi.
Juftlangan chiziqli regressiya bilan R 2 yx =r 2 yx .

Bu fan va amaliyotning turli sohalarida eng keng qo'llanilishini topadi. Bu fizika, kimyo, biologiya, iqtisodiyot, sotsiologiya, psixologiya va boshqalar bo'lishi mumkin. Taqdirning irodasiga ko'ra, men tez-tez iqtisod bilan shug'ullanishim kerak, shuning uchun bugun men sizga ajoyib mamlakatga chipta taklif qilaman. Ekonometrika=) … Qanday qilib buni xohlamaysiz?! U erda juda yaxshi - faqat qaror qabul qilishingiz kerak! …Ammo siz, ehtimol, muammolarni qanday hal qilishni o'rganishni xohlaysiz eng kichik kvadratlar. Va ayniqsa, tirishqoq o'quvchilar ularni nafaqat aniq, balki JUDA TEZ ;-) Lekin birinchi navbatda hal qilishni o'rganadilar. muammoning umumiy bayoni+ tegishli misol:

Miqdoriy ifodaga ega bo'lgan ko'rsatkichlar qandaydir fan sohasida o'rganilsin. Shu bilan birga, indikatorning ko'rsatkichga bog'liqligiga ishonish uchun barcha asoslar mavjud. Bu taxmin ham ilmiy faraz bo'lishi mumkin, ham oddiy aqlga asoslangan. Keling, ilm-fanni bir chetga surib qo'yamiz va ishtahani ochadigan joylarni, xususan, oziq-ovqat do'konlarini o'rganamiz. Belgilang:

– oziq-ovqat do‘konining savdo maydoni, kv.m.,
- oziq-ovqat do'konining yillik aylanmasi, million rubl.

Do'konning maydoni qanchalik katta bo'lsa, aksariyat hollarda uning aylanmasi shunchalik yuqori bo'lishi aniq.

Aytaylik, kuzatishlar / tajribalar / hisoblar / daf bilan raqsga tushgandan so'ng, bizda raqamli ma'lumotlar mavjud:

Oziq-ovqat do'konlari bilan, menimcha, hamma narsa aniq: - bu 1-do'konning maydoni, - uning yillik aylanmasi, - 2-do'konning maydoni, - yillik aylanmasi va boshqalar. Aytgancha, tasniflangan materiallarga kirish mutlaqo shart emas - aylanmani aniq baholashni matematik statistika. Biroq, chalg'itmang, tijorat josusligi kursi allaqachon to'langan =)

Jadvalli ma'lumotlar nuqtalar shaklida ham yozilishi va biz uchun odatiy tarzda tasvirlanishi mumkin. Dekart tizimi .

Keling, muhim savolga javob beraylik: sifatli o'rganish uchun qancha ball kerak?

Qanchalik katta bo'lsa, shuncha yaxshi. Minimal ruxsat etilgan to'plam 5-6 balldan iborat. Bundan tashqari, kichik miqdordagi ma'lumotlar bilan "g'ayritabiiy" natijalar namunaga kiritilmasligi kerak. Shunday qilib, masalan, kichik elita do'koni "o'z hamkasblaridan" ko'ra ko'proq buyurtma berishda yordam berishi mumkin, shu bilan topilishi kerak bo'lgan umumiy naqshni buzadi!

Agar bu juda oddiy bo'lsa, biz funktsiyani tanlashimiz kerak, jadval nuqtalarga imkon qadar yaqin o'tadi . Bunday funktsiya deyiladi yaqinlashtirish (taxminlash - yaqinlashish) yoki nazariy funktsiya . Umuman olganda, bu erda darhol aniq "davogar" paydo bo'ladi - grafigi HAMMA nuqtalardan o'tadigan yuqori darajadagi polinom. Ammo bu variant murakkab va ko'pincha noto'g'ri. (chunki grafik har doim "shamol" qiladi va asosiy tendentsiyani yomon aks ettiradi).

Shunday qilib, kerakli funktsiya etarlicha sodda bo'lishi va ayni paytda bog'liqlikni etarli darajada aks ettirishi kerak. Siz taxmin qilganingizdek, bunday funktsiyalarni topish usullaridan biri deyiladi eng kichik kvadratlar. Birinchidan, uning mohiyatini umumiy tarzda tahlil qilaylik. Ba'zi funksiyalar eksperimental ma'lumotlarga yaqin bo'lsin:


Ushbu yaqinlashishning to'g'riligini qanday baholash mumkin? Keling, eksperimental va funktsional qiymatlar orasidagi farqlarni (burilishlarni) ham hisoblaylik (biz chizmani o'rganamiz). Aqlga keladigan birinchi fikr bu summaning qanchalik katta ekanligini taxmin qilishdir, ammo muammo shundaki, farqlar salbiy bo'lishi mumkin. (Misol uchun, ) va bunday yig'ish natijasida og'ishlar bir-birini bekor qiladi. Shuning uchun, yaqinlashishning to'g'riligini baholash uchun u yig'indini olishni taklif qiladi. modullar og'ishlar:

yoki katlanmış shaklda: (to'satdan, kim bilmaydi: - bu yig'indi belgisi va - yordamchi o'zgaruvchi - 1 dan 1 gacha bo'lgan qiymatlarni qabul qiluvchi "hisoblagich").

Turli funktsiyalarga ega bo'lgan eksperimental nuqtalarni yaqinlashtirish orqali biz ning turli qiymatlarini olamiz va bu summa kichikroq bo'lgan joyda bu funktsiya aniqroq bo'lishi aniq.

Bunday usul mavjud va chaqiriladi eng kam modul usuli. Biroq, amalda u ancha keng tarqalgan. eng kichik kvadrat usuli, bunda mumkin bo'lgan salbiy qiymatlar modul bilan emas, balki og'ishlarni kvadratlash orqali yo'q qilinadi:

, shundan so'ng harakatlar kvadrat og'ishlar yig'indisi shunday funktsiyani tanlashga qaratilgan imkon qadar kichik edi. Aslida, bu usulning nomi.

Va endi biz yana bir muhim nuqtaga qaytamiz: yuqorida aytib o'tilganidek, tanlangan funktsiya juda oddiy bo'lishi kerak - ammo bunday funktsiyalar ham ko'p: chiziqli , giperbolik, eksponentsial, logarifmik, kvadratik va hokazo. Va, albatta, bu erda men darhol "faoliyat maydonini qisqartirishni" xohlayman. Tadqiqot uchun qanday funktsiyalar sinfini tanlash kerak? Ibtidoiy, ammo samarali texnika:

- Ballarni chizishning eng oson yo'li chizma ustida va ularning joylashuvini tahlil qiling. Agar ular to'g'ri chiziqda bo'lishga moyil bo'lsa, unda siz izlashingiz kerak to'g'ri chiziq tenglamasi optimal qiymatlari bilan va . Boshqacha qilib aytganda, vazifa BUNDAY koeffitsientlarni topishdir - shunda kvadrat og'ishlar yig'indisi eng kichik bo'ladi.

Agar nuqtalar, masalan, bo'ylab joylashgan bo'lsa giperbola, u holda chiziqli funksiya yomon yaqinlik berishi aniq. Bunday holda, biz giperbola tenglamasi uchun eng "qulay" koeffitsientlarni qidiramiz - kvadratlarning minimal yig'indisini beradiganlar .

Endi e'tibor bering, ikkala holatda ham biz gaplashamiz ikkita o'zgaruvchining funktsiyalari, kimning dalillari qaramlik variantlarini qidirdi:

Va mohiyatiga ko'ra, biz standart muammoni hal qilishimiz kerak - topish ikkita o'zgaruvchining minimal funktsiyasi.

Misolimizni eslang: deylik, "do'kon" nuqtalari to'g'ri chiziqda joylashgan va mavjudligiga ishonish uchun barcha asoslar mavjud. chiziqli bog'liqlik savdo maydonidan aylanma. Kvadrat og'ishlar yig'indisi bo'lishi uchun BUNDAY "a" va "be" koeffitsientlarini topamiz. eng kichiki edi. Hammasi odatdagidek - birinchi 1-tartibning qisman hosilalari. Ga binoan chiziqlilik qoidasi to'g'ridan-to'g'ri yig'indi belgisi ostida farqlashingiz mumkin:

Agar siz ushbu ma'lumotdan insho yoki kurs ishi uchun foydalanmoqchi bo'lsangiz, men manbalar ro'yxatidagi havola uchun juda minnatdorman, bunday batafsil hisob-kitoblarni hech qaerda topa olmaysiz:

Keling, standart tizimni yarataylik:

Biz har bir tenglamani "ikki" ga kamaytiramiz va qo'shimcha ravishda yig'indilarni "ajratamiz":

Eslatma : "a" va "be" nima uchun yig'indi belgisidan olib tashlanishi mumkinligini mustaqil ravishda tahlil qiling. Aytgancha, rasmiy ravishda bu summa bilan amalga oshirilishi mumkin

Keling, tizimni "amaliy" shaklda qayta yozamiz:

shundan so'ng bizning muammomizni hal qilish algoritmi tuzila boshlaydi:

Nuqtalarning koordinatalarini bilamizmi? Bilamiz. summalar topa olamizmi? Oson. Biz eng oddiylarini tuzamiz ikkita noma'lumli ikkita chiziqli tenglamalar tizimi("a" va "beh"). Biz tizimni hal qilamiz, masalan, Kramer usuli, natijada statsionar nuqta paydo bo'ladi. Tekshirish ekstremum uchun etarli shart, biz ushbu nuqtada funktsiyani tekshirishimiz mumkin aniq yetib boradi eng kam. Tekshirish qo'shimcha hisob-kitoblar bilan bog'liq va shuning uchun biz uni sahnada qoldiramiz. (agar kerak bo'lsa, etishmayotgan ramkani ko'rish mumkin). Yakuniy xulosa chiqaramiz:

Funktsiya eng yaxshi yo'l (hech bo'lmaganda boshqa har qanday chiziqli funktsiyaga nisbatan) eksperimental nuqtalarni yaqinlashtiradi . Taxminan aytganda, uning grafigi ushbu nuqtalarga imkon qadar yaqinroq o'tadi. An'anaga ko'ra ekonometriya olingan yaqinlashuvchi funksiya ham deyiladi juft chiziqli regressiya tenglamasi .

Ko'rib chiqilayotgan muammo katta amaliy ahamiyatga ega. Bizning misolimizdagi vaziyatda tenglama qanday aylanmani bashorat qilish imkonini beradi ("yig") sotish maydonining u yoki bu qiymati bilan do'konda bo'ladi ("x" ning u yoki bu ma'nosi). Ha, natijada olingan prognoz faqat prognoz bo'ladi, lekin ko'p hollarda u juda aniq bo'lib chiqadi.

Men "haqiqiy" raqamlar bilan bitta muammoni tahlil qilaman, chunki unda hech qanday qiyinchiliklar yo'q - barcha hisob-kitoblar 7-8-sinflardagi maktab o'quv dasturi darajasida. 95 foiz hollarda sizdan faqat chiziqli funktsiyani topishingiz so'raladi, ammo maqolaning oxirida men optimal giperbola, ko'rsatkich va boshqa ba'zi funktsiyalar uchun tenglamalarni topish qiyin emasligini ko'rsataman.

Aslida, va'da qilingan sovg'alarni tarqatish qoladi - siz bunday misollarni nafaqat aniq, balki tezda qanday hal qilishni o'rganishingiz uchun. Biz standartni diqqat bilan o'rganamiz:

Vazifa

Ikki ko'rsatkich o'rtasidagi munosabatni o'rganish natijasida quyidagi raqamlar juftligi olindi:

Eng kichik kvadratlar usulidan foydalanib, empirikga eng yaqin keladigan chiziqli funksiyani toping (tajribali) ma'lumotlar. Dekart to'rtburchaklar koordinata tizimida tajriba nuqtalari va yaqinlashuvchi funktsiya grafigi chizilgan chizma tuzing. . Empirik va nazariy qiymatlar orasidagi kvadratik og‘ishlar yig‘indisini toping. Funktsiya yaxshiroq yoki yo'qligini bilib oling (eng kichik kvadratlar usuli bo'yicha) taxminiy tajriba nuqtalari.

E'tibor bering, "x" qiymatlari tabiiy qadriyatlardir va bu xarakterli mazmunli ma'noga ega, men bu haqda biroz keyinroq gaplashaman; lekin ular, albatta, kasr bo'lishi mumkin. Bundan tashqari, ma'lum bir vazifaning mazmuniga qarab, "X" va "G" qiymatlari to'liq yoki qisman salbiy bo'lishi mumkin. Xo'sh, bizga "yuzsiz" vazifa berildi va biz uni boshlaymiz yechim:

Tizim yechimi sifatida optimal funksiya koeffitsientlarini topamiz:

Keyinchalik ixcham belgilash uchun "hisoblagich" o'zgaruvchisini o'tkazib yuborish mumkin, chunki yig'ish 1 dan 1 gacha amalga oshirilganligi allaqachon aniq.

Kerakli miqdorlarni jadval shaklida hisoblash qulayroqdir:


Hisob-kitoblar mikrokalkulyatorda amalga oshirilishi mumkin, ammo Excel-dan foydalanish ancha yaxshi - ham tezroq, ham xatosiz; qisqa videoni tomosha qiling:

Shunday qilib, biz quyidagilarni olamiz tizimi:

Bu erda siz ikkinchi tenglamani 3 va ga ko'paytirishingiz mumkin 1-tenglamaning haddan 2-sonini ayirish. Ammo bu omad - amalda tizimlar ko'pincha qobiliyatli emas va bunday hollarda u tejaydi Kramer usuli:
, shuning uchun tizim noyob yechimga ega.

Keling, tekshirib ko'raylik. Men buni xohlamasligimni tushunaman, lekin nega ularni o'tkazib yubormaslik mumkin bo'lgan xatolarni o'tkazib yuborish kerak? Topilgan yechimni tizimning har bir tenglamasining chap tomoniga almashtiring:

Tegishli tenglamalarning to'g'ri qismlari olinadi, ya'ni tizim to'g'ri echilgan.

Shunday qilib, kerakli yaqinlashuvchi funktsiya: – dan barcha chiziqli funktsiyalar eksperimental ma'lumotlar eng yaxshi u bilan yaqinlashadi.

Undan farqli o'laroq Streyt do'kon aylanmasining uning maydoniga bog'liqligi, topilgan bog'liqligi teskari ("qancha ko'p - kamroq" tamoyili), va bu haqiqat darhol salbiy tomonidan ochib beriladi burchak koeffitsienti. Funktsiya ma'lum bir ko'rsatkichning 1 birlikka o'sishi bilan bog'liq ko'rsatkichning qiymati pasayib borishi haqida bizga xabar beradi o'rtacha 0,65 birlikka. Ular aytganidek, grechkaning narxi qancha yuqori bo'lsa, shuncha kam sotiladi.

Taxminlovchi funktsiyani chizish uchun uning ikkita qiymatini topamiz:

va chizmani bajaring:


Tuzilgan chiziq deyiladi trend chizig'i (ya'ni, chiziqli trend chizig'i, ya'ni umumiy holatda trend to'g'ri chiziq bo'lishi shart emas). "Trendda bo'lish" iborasi hammaga tanish va menimcha, bu atama qo'shimcha izohlarga muhtoj emas.

Kvadrat og'ishlar yig'indisini hisoblang empirik va nazariy qadriyatlar o'rtasida. Geometrik jihatdan, bu "qizil" segmentlarning uzunliklari kvadratlarining yig'indisidir (ikkitasi shunchalik kichkinaki, siz ularni ko'ra olmaysiz).

Jadvalda hisob-kitoblarni umumlashtiramiz:


Ular yana qo'lda bajarilishi mumkin, agar men 1-bandga misol keltirsam:

lekin allaqachon ma'lum bo'lgan usulni qilish ancha samarali:

Keling, takrorlaymiz: natijaning ma'nosi nima? Kimdan barcha chiziqli funktsiyalar funktsiyasi ko'rsatkich eng kichik, ya'ni uning oilasidagi eng yaxshi yaqinlikdir. Va bu erda, aytmoqchi, muammoning yakuniy savoli tasodifiy emas: agar taklif qilingan eksponensial funktsiya nima bo'lsa? eksperimental nuqtalarni yaqinlashtirish yaxshiroq bo'ladimi?

Keling, kvadrat og'ishlarning tegishli yig'indisini topamiz - ularni farqlash uchun men ularni "epsilon" harfi bilan belgilayman. Texnika mutlaqo bir xil:


Va yana 1-band uchun har bir yong'in hisobi uchun:

Excelda biz standart funksiyadan foydalanamiz EXP (Sintaksisni Excel Yordamida topish mumkin).

Xulosa: , shuning uchun eksponentsial funktsiya to'g'ri chiziqdan ko'ra yomonroq tajriba nuqtalariga yaqinlashadi .

Ammo bu erda "yomonroq" ekanligini ta'kidlash kerak hali anglatmaydi, nima bo'ldi. Endi men ushbu eksponensial funktsiyaning grafigini qurdim - va u ham nuqtalarga yaqin o'tadi - shunchalik ko'pki, analitik tadqiqotsiz qaysi funktsiya aniqroq ekanligini aytish qiyin.

Bu yechimni yakunlaydi va men argumentning tabiiy qadriyatlari haqidagi savolga qaytaman. Turli tadqiqotlarda, qoida tariqasida, iqtisodiy yoki sotsiologik, oylar, yillar yoki boshqa teng vaqt oralig'i tabiiy "X" bilan raqamlanadi. Masalan, bunday muammoni ko'rib chiqing.

Eng kichik kvadratlar usuli (OLS, inglizcha. Ordinary Least Squares, OLS)- istalgan o'zgaruvchilardan ba'zi funktsiyalarning kvadratik og'ishlari yig'indisini minimallashtirishga asoslangan turli xil muammolarni hal qilish uchun ishlatiladigan matematik usul. U haddan tashqari aniqlangan tenglamalar tizimini "yechish" uchun (tenglamalar soni noma'lumlar sonidan oshib ketganda), oddiy (ortiqcha aniqlanmagan) chiziqli bo'lmagan tenglamalar tizimlarida yechim topish, nuqta qiymatlarini yaqinlashtirish uchun ishlatilishi mumkin. ba'zi funktsiya. OLS - namunaviy ma'lumotlardan regressiya modellarining noma'lum parametrlarini baholash uchun regressiya tahlilining asosiy usullaridan biri.

Entsiklopedik YouTube

1 / 5

✪ Eng kichik kvadratlar usuli. Mavzu

✪ Eng kichik kvadratlar, 1/2-dars. Chiziqli funksiya

✪ Ekonometrika. Ma’ruza 5. Eng kichik kvadratlar usuli

✪ Mitin I. V. - Jismoniy natijalarni qayta ishlash. tajriba - Eng kichik kvadratlar usuli (4-ma'ruza)

✪ Ekonometrika: №2 eng kichik kvadratlar usulining mohiyati

Subtitrlar

Hikoya

XIX asr boshlarigacha. olimlar noma'lumlar soni tenglamalar sonidan kam bo'lgan tenglamalar tizimini echishning ma'lum qoidalariga ega emas edilar; Shu vaqtgacha tenglamalar turiga va kalkulyatorlarning zukkoligiga qarab alohida usullar qo'llanilgan va shuning uchun bir xil kuzatish ma'lumotlaridan boshlab turli xil kalkulyatorlar turli xil xulosalarga kelishgan. Usulning birinchi qo'llanilishi Gauss (1795) hisoblangan va Legendre (1805) uni mustaqil ravishda kashf etgan va zamonaviy nomi bilan nashr etgan (fr. Metode des moindres janjal). Laplas usulni ehtimollar nazariyasi bilan bog'ladi va amerikalik matematik Adrain (1808) uning ehtimollik qo'llanilishini ko'rib chiqdi. Usul Encke, Bessel, Hansen va boshqalarning keyingi tadqiqotlari natijasida keng tarqalgan va takomillashtirilgan.

Eng kichik kvadratlar usulining mohiyati

Mayli x (\displaystyle x)- to'plam n (\displaystyle n) noma'lum o'zgaruvchilar (parametrlar), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- bu o'zgaruvchilar to'plamidan funktsiyalar to'plami. Muammo shundaki, bunday qiymatlarni tanlash x (\displaystyle x) bu funksiyalarning qiymatlari imkon qadar ba'zi qiymatlarga yaqin bo'lishi uchun y i (\displaystyle y_(i)). Aslida, biz haddan tashqari aniqlangan tenglamalar tizimining "yechimi" haqida gapiramiz f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) ko'rsatilgan ma'noda tizimning chap va o'ng qismlarining maksimal yaqinligi. LSM ning mohiyati "yaqinlik o'lchovi" sifatida chap va o'ng qismlarning kvadratik og'ishlarining yig'indisini tanlashdir. | f i (x) - y i | (\displaystyle |f_(i)(x)-y_(i)|). Shunday qilib, LSMning mohiyatini quyidagicha ifodalash mumkin:

∑ iei 2 = ∑ i (yi − fi (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\o‘ng strelka \min _(x)).

Agar tenglamalar tizimi yechimga ega bo'lsa, kvadratlar yig'indisining minimali nolga teng bo'ladi va tenglamalar tizimining aniq echimlarini analitik yoki, masalan, turli xil raqamli optimallashtirish usullari bilan topish mumkin. Agar tizim haddan tashqari aniqlangan bo'lsa, ya'ni ochiq aytganda, mustaqil tenglamalar soni noma'lum o'zgaruvchilar sonidan ko'p bo'lsa, unda tizim aniq echimga ega emas va eng kichik kvadratlar usuli bizga qandaydir "optimal" vektorni topishga imkon beradi. x (\displaystyle x) vektorlarning maksimal yaqinligi ma'nosida y (\displaystyle y) va f (x) (\displaystyle f(x)) yoki og'ish vektorining maksimal yaqinligi e (\displaystyle e) nolga (yaqinlik Yevklid masofasi ma’nosida tushuniladi).

Misol - chiziqli tenglamalar tizimi

Xususan, chiziqli tenglamalar tizimini “yechish” uchun eng kichik kvadratlar usulidan foydalanish mumkin

A x = b (\displaystyle Ax=b),

qayerda A (\displaystyle A) to'rtburchak o'lchamdagi matritsa m × n , m > n (\displaystyle m\times n,m>n)(ya'ni, A matritsasining qatorlari soni talab qilinadigan o'zgaruvchilar sonidan kattaroqdir).

Bunday tenglamalar tizimi odatda yechimga ega emas. Shuning uchun bu tizimni faqat shunday vektorni tanlash ma'nosida "hal qilish" mumkin x (\displaystyle x) vektorlar orasidagi "masofa" ni minimallashtirish A x (\displaystyle Axe) va b (\displaystyle b). Buning uchun siz tizim tenglamalarining chap va o'ng qismlarining kvadratik farqlari yig'indisini minimallashtirish mezonini qo'llashingiz mumkin, ya'ni (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\o‘ng strelka \min ). Ushbu minimallashtirish masalasini yechish quyidagi tenglamalar tizimini echishga olib kelishini ko'rsatish oson

ATA x = AT b ⇒ x = (ATA) − 1 AT b (\displaystyle A^(T)Ax=A^(T)b\O‘ng tomon x=(A^(T)A)^(-1)A^ (T)b).

Regressiya tahlilida OLS (ma'lumotlarning yaqinlashishi)

Bo'lsin n (\displaystyle n) ba'zi o'zgaruvchilar qiymatlari y (\displaystyle y)(bu kuzatishlar, tajribalar va boshqalar natijalari bo'lishi mumkin) va tegishli o'zgaruvchilar x (\displaystyle x). Muammo o'rtasidagi munosabatlarni o'rnatishdir y (\displaystyle y) va x (\displaystyle x) ba'zi noma'lum parametrlargacha ma'lum bo'lgan ba'zi funksiyalar bo'yicha taxminan b (\displaystyle b), ya'ni aslida parametrlarning eng yaxshi qiymatlarini toping b (\displaystyle b), qiymatlarni maksimal darajada yaqinlashtirish f (x , b) (\displaystyle f(x,b)) haqiqiy qadriyatlarga y (\displaystyle y). Aslida, bu haddan tashqari aniqlangan tenglamalar tizimini "yechish" holatiga qisqartiradi b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

Regression tahlilda, xususan, ekonometrikada o'zgaruvchilar o'rtasidagi munosabatlarning ehtimollik modellaridan foydalaniladi.

Y t = f (x t , b) + e t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

qayerda e t (\displaystyle \varepsilon _(t))- shunday deyiladi tasodifiy xatolar modellar.

Shunga ko'ra, kuzatilgan qiymatlarning og'ishlari y (\displaystyle y) modelidan f (x , b) (\displaystyle f(x,b)) allaqachon modelning o'zida taxmin qilingan. LSM (oddiy, klassik) ning mohiyati shunday parametrlarni topishdir b (\displaystyle b), bunda kvadrat og'ishlar yig'indisi (xatolar, regressiya modellari uchun ular ko'pincha regressiya qoldiqlari deb ataladi) e t (\displaystyle e_(t)) minimal bo'ladi:

b ^ O L S = arg ⁡ min b R S S (b) (\displaystyle (\shapka (b))_(OLS)=\arg \min _(b)RSS(b)),

qayerda R S S (\displaystyle RSS)- Ingliz. Kvadratlarning qoldiq yig'indisi quyidagicha aniqlanadi:

RSS (b) = e T e = ∑ t = 1 net 2 = ∑ t = 1 n (yt − f (xt , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\sum _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

Umumiy holda, bu muammoni optimallashtirishning raqamli usullari (minimalizatsiya) bilan hal qilish mumkin. Bunday holda, kimdir gapiradi chiziqli bo'lmagan eng kichik kvadratlar(NLS yoki NLLS - o'z. Non-Linear Least Squares). Ko'p hollarda analitik yechimni olish mumkin. Minimallashtirish masalasini hal qilish uchun funksiyaning statsionar nuqtalarini topish kerak R S S (b) (\displaystyle RSS(b)), uni noma'lum parametrlarga nisbatan farqlash b (\displaystyle b), hosilalarni nolga tenglash va natijada olingan tenglamalar tizimini yechish:

∑ t = 1 n (yt − f (xt , b)) ∂ f (xt , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_) (t),b))(\frac (\qisman f(x_(t),b))(\qisman b))=0).

Lineer regressiya holatida LSM

Regressiyaga bog'liqlik chiziqli bo'lsin:

yt = ∑ j = 1 kbjxtj + e = xt T b + e t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Mayli y- izohlanayotgan o'zgaruvchining kuzatishlar ustun vektori va X (\displaystyle X)- bu (n × k) (\displaystyle ((n\times k)))- omillarni kuzatish matritsasi (matritsa qatorlari - ushbu kuzatishdagi omillar qiymatlari vektorlari, ustunlar bo'yicha - barcha kuzatishlarda ushbu omil qiymatlari vektori). Chiziqli modelning matritsali ko'rinishi quyidagi ko'rinishga ega:

y = Xb + e (\displaystyle y=Xb+\varepsilon ).

Keyin tushuntirilgan o'zgaruvchini baholash vektori va regressiya qoldiqlari vektori teng bo'ladi.

y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\shapka (y))=y-Xb).

shunga ko'ra, regressiya qoldiqlarining kvadratlari yig'indisi teng bo'ladi

R S S = e T e = (y - X b) T (y - X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Ushbu funktsiyani parametr vektoriga nisbatan farqlash b (\displaystyle b) va hosilalarni nolga tenglashtirib, biz tenglamalar tizimini olamiz (matritsa shaklida):

(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).

Shifrlangan matritsa shaklida ushbu tenglamalar tizimi quyidagicha ko'rinadi:

(∑ xt 1 2 ∑ xt 1 xt 2 ∑ xt 1 xt 3 … ∑ xt 1 xtk ∑ xt 2 xt 1 ∑ xt 2 2 ∑ xt 2 xt 3 … ∑ xt 2 xt 3 … ∑ xt 2 xtk ∑3 ∑xt ∑xt xt 3 2 … ∑ xt 3 xtk ⋮ ⋮ ⋮ ⋱ ⋮ ∑ xtkxt 1 ∑ xtkxt 2 ∑ xtkxt 3 … ∑ xtk 2) (b 1 b 2 b 3 ⋑yt 2) (b 1 b 2 b 3 ⋑yt 2) yt ⋮ ∑ xtkyt) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_(tk)\\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ yig'indisi x_(t2)x_(tk)\\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3) )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix))) bu erda barcha summalar barcha ruxsat etilgan qiymatlar ustidan olinadi t (\displaystyle t).

Agar konstanta modelga kiritilgan bo'lsa (odatdagidek), u holda x t 1 = 1 (\displaystyle x_(t1)=1) Barcha uchun t (\displaystyle t), shuning uchun tenglamalar sistemasi matritsasining yuqori chap burchagida kuzatishlar soni joylashgan. n (\displaystyle n), va birinchi qator va birinchi ustunning qolgan elementlarida - faqat o'zgaruvchilar qiymatlarining yig'indisi: ∑ x t j (\displaystyle \sum x_(tj)) va tizimning o'ng tomonining birinchi elementi - ∑ y t (\displaystyle \sum y_(t)).

Ushbu tenglamalar tizimining yechimi chiziqli model uchun eng kichik kvadratlarni baholash uchun umumiy formulani beradi:

b ^ OLS = (XTX) − 1 XT y = (1 n XTX) − 1 1 n XT y = V x − 1 C xy (\displaystyle (\shapka (b))_(OLS)=(X^(T) )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\o'ng)^(-1)(\frac (1)(n) ))X^(T)y=V_(x)^(-1)C_(xy)).

Analitik maqsadlar uchun ushbu formulaning oxirgi ko'rinishi foydali bo'lib chiqadi (tenglamalar tizimida n ga bo'linganda yig'indi o'rniga arifmetik vositalar paydo bo'ladi). Agar regressiya modelidagi ma'lumotlar markazlashtirilgan, u holda bu tasvirda birinchi matritsa omillarning tanlanma kovariatsiya matritsasi ma'nosiga ega, ikkinchisi esa bog'liq o'zgaruvchiga ega bo'lgan omillarning kovariatsiyalari vektoridir. Agar, qo'shimcha ravishda, ma'lumotlar ham bo'lsa normallashtirilgan SKOda (ya'ni, oxir-oqibat standartlashtirilgan), keyin birinchi matritsa omillarning tanlanma korrelyatsiya matritsasi ma'nosiga ega bo'ladi, ikkinchi vektor - bog'liq o'zgaruvchi bilan omillarning tanlama korrelyatsiya vektori.

Modellar uchun LLS taxminlarining muhim xususiyati doimiy bilan- tuzilgan regressiya chizig'i namuna ma'lumotlarining og'irlik markazidan o'tadi, ya'ni tenglik bajariladi:

y ¯ = b 1 ^ + ∑ j = 2 kb ^ jx ¯ j (\displaystyle (\bar (y))=(\shapka (b_(1)))+\sum _(j=2)^(k) (\shapka (b))_(j)(\bar (x))_(j)).

Xususan, ekstremal holatda, yagona regressor doimiy bo'lsa, biz bitta parametrning OLS bahosi (konstantaning o'zi) tushuntirilayotgan o'zgaruvchining o'rtacha qiymatiga teng ekanligini aniqlaymiz. Ya'ni, katta sonlar qonunlaridan o'zining yaxshi xossalari bilan ma'lum bo'lgan o'rtacha arifmetik qiymat ham eng kichik kvadratlar bahosi hisoblanadi - u undan kvadratik og'ishlarning minimal yig'indisi mezonini qondiradi.

Eng oddiy maxsus holatlar

Juft chiziqli regressiya holatida y t = a + b x t + e t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), bir o'zgaruvchining boshqasiga chiziqli bog'liqligi taxmin qilinganda, hisoblash formulalari soddalashtiriladi (siz matritsa algebrasisiz ham qilishingiz mumkin). Tenglamalar tizimi quyidagi shaklga ega:

(1 x ¯ x ¯ x 2 ¯) (ab) = (y ¯ xy ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar) (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar(y))\\ (\overline(xy))\\\end(pmatrix))).

Bu erdan koeffitsientlar uchun taxminlarni topish oson:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = xy ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − bx ¯ . (\displaystyle (\begin(holatlar)) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline) (xy))-(\bar (x))(\bar (y))))((\overline (x^(2))))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(holatlar)))

Umuman olganda, doimiy bo'lgan modellar afzal bo'lishiga qaramay, ba'zi hollarda nazariy mulohazalardan ma'lumki, doimiy a (\displaystyle a) nolga teng bo'lishi kerak. Masalan, fizikada kuchlanish va oqim o'rtasidagi munosabatlar shaklga ega U = I ⋅ R (\displaystyle U=I\cdot R); kuchlanish va oqimni o'lchash, qarshilikni baholash kerak. Bunday holda, biz model haqida gapiramiz y = b x (\displaystyle y=bx). Bunday holda, tenglamalar tizimi o'rniga bizda bitta tenglama mavjud

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Shuning uchun bitta koeffitsientni baholash formulasi shaklga ega

B ^ = ∑ t = 1 nxtyt ∑ t = 1 nxt 2 = xy ¯ x 2 ¯ (\displaystyle (\shapka (b))=(\frac (\sum _(t=1)^(n)x_(t) )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Polinom modelining holati

Agar ma'lumotlar bitta o'zgaruvchining polinom regressiya funktsiyasi bilan jihozlangan bo'lsa f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \cheklovlar _(i=1)^(k)b_(i)x^(i)), keyin, idrok darajalari x i (\displaystyle x^(i)) har biri uchun mustaqil omillar sifatida i (\displaystyle i) chiziqli model parametrlarini baholashning umumiy formulasi asosida modelning parametrlarini baholash mumkin. Buning uchun umumiy formulada bunday talqin bilan hisobga olish kifoya x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) va x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Shunday qilib, bu holda matritsa tenglamalari quyidagi shaklni oladi:

(n ∑ nxt … ∑ nxtk ∑ nxt ∑ nxt 2 … ∑ nxtk + 1 ⋮ ⋮ ⋱ ⋮ ∑ nxtk ⋱ ⋮ ∑ nxtk ∑ nxtk + 1 … ∑ nxt 2 b b [∑ nxt 2 k [∑ nxt 2 k ] [∑ nxt 2 k ] [∑ nxt 2 k ] [∑ nxt 2 k ] [∑ nxt 2 k ] 1. (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ summa \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatritsa))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatritsa)).

OLS smetalarining statistik xususiyatlari

Avvalo shuni ta'kidlaymizki, chiziqli modellar uchun eng kichik kvadratlar bahosi yuqoridagi formuladan kelib chiqqan holda chiziqli taxminlardir. Eng kichik kvadratlarni baholashning xolisligi uchun regressiya tahlilining eng muhim shartini bajarish zarur va etarli: omillarga bog'liq bo'lgan tasodifiy xatoning matematik kutilishi nolga teng bo'lishi kerak. Bu shart qondiriladi, xususan, agar

1. tasodifiy xatolarning matematik kutish nolga teng, va
2. omillar va tasodifiy xatolar mustaqil tasodifiy qiymatlardir.

Ikkinchi shart - ekzogen omillarning holati - asosiy hisoblanadi. Agar bu xususiyat qoniqtirilmasa, deyarli har qanday hisob-kitoblar juda qoniqarsiz bo'ladi deb taxmin qilishimiz mumkin: ular hatto izchil bo'lmaydi (ya'ni, hatto juda katta miqdordagi ma'lumotlar ham bu holatda sifatli baho olishga imkon bermaydi). Klassik holatda, tasodifiy xatodan farqli o'laroq, omillarning determinizmi haqida kuchliroq taxmin qilinadi, bu avtomatik ravishda ekzogen shartning qondirilishini bildiradi. Umumiy holda, hisob-kitoblarning izchilligi uchun matritsaning yaqinlashuvi bilan birga ekzogenlik shartini qondirish kifoya. V x (\displaystyle V_(x)) ba'zi bir bo'lmagan matritsaga, chunki namuna hajmi cheksizgacha oshadi.

Doimiylik va xolislikdan tashqari (oddiy) eng kichik kvadratchalar baholari ham samarali bo'lishi uchun (chiziqli xolis baholar sinfidagi eng yaxshisi) tasodifiy xatoning qo'shimcha xususiyatlari qondirilishi kerak:

Ushbu taxminlar tasodifiy xatolar vektorining kovariatsiya matritsasi uchun shakllantirilishi mumkin. V (e) = s 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Ushbu shartlarni qondiradigan chiziqli model deyiladi klassik. Klassik chiziqli regressiya uchun OLS baholari barcha chiziqli xolis baholar sinfidagi xolis, izchil va eng samarali baholardir (ingliz adabiyotida ba'zan qisqartma ishlatiladi. ko'k (Eng yaxshi chiziqli xolis baholovchi) eng yaxshi chiziqli xolis bahodir; mahalliy adabiyotda Gauss - Markov teoremasi ko'proq keltiriladi). Ko'rsatish oson bo'lganidek, koeffitsientlarni baholash vektorining kovariatsiya matritsasi quyidagilarga teng bo'ladi:

V (b ^ OLS) = s 2 (XTX) − 1 (\displaystyle V((\shapka (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1) )).

Samaradorlik shuni anglatadiki, ushbu kovariatsiya matritsasi "minimal" (koeffitsientlarning har qanday chiziqli birikmasi, xususan, koeffitsientlarning o'zlari minimal dispersiyaga ega), ya'ni chiziqli xolis baholar sinfida OLS baholari eng yaxshisidir. Ushbu matritsaning diagonal elementlari - koeffitsientlar baholarining dispersiyalari - olingan baholar sifatining muhim parametrlari hisoblanadi. Biroq, kovariatsiya matritsasi hisoblab bo'lmaydi, chunki tasodifiy xato dispersiyasi noma'lum. Tasodifiy xatolar dispersiyasining xolis va izchil (klassik chiziqli model uchun) bahosi quyidagi qiymat ekanligini isbotlash mumkin:

S 2 = R S S / (n - k) (\displaystyle s^(2)=RSS/(n-k)).

Ushbu qiymatni kovariatsiya matritsasi formulasiga almashtirib, biz kovarians matritsasining taxminini olamiz. Olingan hisob-kitoblar ham xolis va izchil. Xato dispersiyasini (demak, koeffitsientlarning dispersiyalarini) baholash va model parametrlarini baholash mustaqil tasodifiy o'zgaruvchilar bo'lishi ham muhimdir, bu esa model koeffitsientlari haqidagi gipotezalarni tekshirish uchun test statistikasini olish imkonini beradi.

Shuni ta'kidlash kerakki, agar klassik taxminlar bajarilmasa, eng kichik kvadratlar parametrlarini baholash eng samarali emas va bu erda W (\displaystyle W) ba'zi bir simmetrik musbat aniq og'irlik matritsasi. Oddiy eng kichik kvadratlar bu yondashuvning alohida holati bo'lib, og'irlik matritsasi identifikatsiya matritsasiga mutanosib bo'lganda. Ma'lumki, simmetrik matritsalar (yoki operatorlar) uchun parchalanish mavjud W = P T P (\displaystyle W=P^(T)P). Shuning uchun bu funktsiyani quyidagicha ifodalash mumkin e TPTP e = (P e) TP e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), ya'ni bu funksionalni ba'zi o'zgartirilgan "qoldiqlar" kvadratlari yig'indisi sifatida ifodalash mumkin. Shunday qilib, biz eng kichik kvadratlar usullari sinfini ajratib ko'rsatishimiz mumkin - LS-metodlar (Eng kichik kvadratlar).

(Aitken teoremasi) umumlashtirilgan chiziqli regressiya modeli uchun (tasodifiy xatolarning kovariatsiya matritsasiga hech qanday cheklovlar qo'yilmagan) eng samarali (chiziqli xolis baholar sinfida) deb ataladigan taxminlar ekanligi isbotlangan. umumlashtirilgan OLS (OMNK, GLS - Umumlashtirilgan eng kichik kvadratlar)- tasodifiy xatolarning teskari kovariatsiya matritsasiga teng og'irlik matritsasi bilan LS-usuli: W = V e − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Chiziqli model parametrlarining GLS-baholash formulasi shaklga ega ekanligini ko'rsatish mumkin

B ^ GLS = (XTV − 1 X) − 1 XTV − 1 y (\displaystyle (\shapka (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Ushbu baholarning kovariatsiya matritsasi mos ravishda teng bo'ladi

V (b ^ GLS) = (XTV - 1 X) - 1 (\displaystyle V((\shapka (b))_(GLS))=(X^(T)V^(-1)X)^(- bitta)).

Aslida, OLSning mohiyati dastlabki ma'lumotlarning ma'lum (chiziqli) transformatsiyasida (P) va o'zgartirilgan ma'lumotlarga odatiy eng kichik kvadratlarni qo'llashda yotadi. Ushbu transformatsiyaning maqsadi shundaki, o'zgartirilgan ma'lumotlar uchun tasodifiy xatolar allaqachon klassik taxminlarni qondiradi.

Og'irlangan eng kichik kvadratlar

Diagonal og'irlik matritsasi (va shuning uchun tasodifiy xatolarning kovariatsiya matritsasi) holatida bizda eng kichik vaznli kvadratlar (WLS - Weighted Least Squares) mavjud. Bunday holda, model qoldiqlari kvadratlarining vaznli yig'indisi minimallashtiriladi, ya'ni har bir kuzatuv ushbu kuzatuvdagi tasodifiy xatoning dispersiyasiga teskari proportsional bo'lgan "og'irlik" ni oladi: e TW e = ∑ t = 1 net 2 s t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma _(t)^(2)))). Haqiqatan ham, ma'lumotlar kuzatuvlarni tortish (tasodifiy xatolarning taxmin qilingan standart og'ishiga proportsional miqdorga bo'linish) orqali o'zgartiriladi va vaznli ma'lumotlarga oddiy eng kichik kvadratlar qo'llaniladi.

ISBN 978-5-7749-0473-0.

Ekonometrika. Darslik / Ed. Eliseeva I. I. - 2-nashr. - M. : Moliya va statistika, 2006. - 576 p. - ISBN 5-279-02786-3.

Aleksandrova N.V. Matematik atamalar, tushunchalar, belgilar tarixi: lug'at-ma'lumotnoma. - 3-nashr - M. : LKI, 2008. - 248 b. - ISBN 978-5-382-00839-4. I.V.Mitin, Rusakov V.S. Eksperimental ma'lumotlarni tahlil qilish va qayta ishlash - 5-nashr - 24p.

Funktsiyani 2-darajali ko'phad bilan yaqinlashtiramiz. Buning uchun biz oddiy tenglamalar tizimining koeffitsientlarini hisoblaymiz:

, ,

Keling, eng kichik kvadratlarning oddiy tizimini tuzamiz, u quyidagi shaklga ega:

Tizimning yechimini topish oson:, , .

Shunday qilib, 2-darajali ko'phad topiladi: .

Nazariy ma'lumot

Sahifaga qaytish<Введение в вычислительную математику. Примеры>

2-misol. Ko'phadning optimal darajasini topish.

Sahifaga qaytish<Введение в вычислительную математику. Примеры>

3-misol. Empirik bog'liqlik parametrlarini topish uchun normal tenglamalar tizimini chiqarish.

Koeffitsientlar va funksiyalarni aniqlash uchun tenglamalar tizimini chiqaramiz , bu berilgan funktsiyaning nuqtalarga nisbatan ildiz o'rtacha kvadratiga yaqinlashishini bajaradi. Funktsiya tuzing va uning uchun zarur ekstremum shartni yozing:

Keyin oddiy tizim quyidagi shaklni oladi:

Biz noma'lum parametrlar uchun chiziqli tenglamalar tizimini oldik va bu oson echiladi.

Nazariy ma'lumot

Sahifaga qaytish<Введение в вычислительную математику. Примеры>

Misol.

O'zgaruvchilar qiymatlari bo'yicha eksperimental ma'lumotlar X va da jadvalda keltirilgan.

Ularning hizalanishi natijasida funksiya

Foydalanish eng kichik kvadrat usuli, bu ma'lumotlarni chiziqli bog'liqlik bilan yaqinlashtiring y=ax+b(parametrlarni toping a va b). Ikki qatordan qaysi biri yaxshiroq ekanligini aniqlang (eng kichik kvadratlar usuli ma'nosida) eksperimental ma'lumotlarni tenglashtiradi. Chizma qiling.

Eng kichik kvadratlar (LSM) usulining mohiyati.

Muammo ikkita o'zgaruvchining funktsiyasi bo'lgan chiziqli bog'liqlik koeffitsientlarini topishdir a va beng kichik qiymatni oladi. Ya'ni, ma'lumotlar berilgan a va b topilgan to'g'ri chiziqdan tajriba ma'lumotlarining kvadrat og'ishlari yig'indisi eng kichik bo'ladi. Bu eng kichik kvadratlar usulining butun nuqtasidir.

Shunday qilib, misolning yechimi ikkita o'zgaruvchili funktsiyaning ekstremumini topishga keltiriladi.

Koeffitsientlarni topish formulalarini chiqarish.

Ikki noma’lumli ikkita tenglamalar sistemasi tuziladi va yechiladi. Funksiyalarning qisman hosilalarini topish o'zgaruvchilar bo'yicha a va b, bu hosilalarni nolga tenglashtiramiz.

Olingan tenglamalar tizimini istalgan usul bilan yechamiz (masalan almashtirish usuli yoki Kramer usuli) va eng kichik kvadratlar usuli (LSM) yordamida koeffitsientlarni topish formulalarini olish.

Ma'lumotlar bilan a va b funktsiyasi eng kichik qiymatni oladi. Bu haqiqatning isboti quyida sahifa oxiridagi matnda keltirilgan.

Bu eng kichik kvadratlarning butun usuli. Parametrni topish formulasi a, , , va parametrlarni o'z ichiga oladi n eksperimental ma'lumotlarning miqdori. Ushbu summalarning qiymatlarini alohida hisoblash tavsiya etiladi.

Koeffitsient b hisoblashdan keyin topiladi a.

Asl misolni eslash vaqti keldi.

Yechim.

Bizning misolimizda n=5. Kerakli koeffitsientlar formulalariga kiritilgan miqdorlarni hisoblash qulayligi uchun jadvalni to'ldiramiz.

Jadvalning to'rtinchi qatoridagi qiymatlar har bir raqam uchun 2-qatorning qiymatlarini 3-qatorning qiymatlariga ko'paytirish yo'li bilan olinadi. i.

Jadvalning beshinchi qatoridagi qiymatlar har bir raqam uchun 2-qator qiymatlarini kvadratga aylantirish orqali olinadi. i.

Jadvalning oxirgi ustunining qiymatlari qatorlar bo'ylab qiymatlarning yig'indisidir.

Koeffitsientlarni topish uchun eng kichik kvadratlar usuli formulalaridan foydalanamiz a va b. Biz ularga jadvalning oxirgi ustunidagi mos qiymatlarni almashtiramiz:

Demak, y=0,165x+2,184 kerakli yaqinlashuvchi to'g'ri chiziqdir.

Chiziqlarning qaysi biri ekanligini aniqlash uchun qoladi y=0,165x+2,184 yoki dastlabki ma'lumotlarni yaxshiroq yaqinlashtiradi, ya'ni eng kichik kvadratlar usuli yordamida taxmin qilish.

Eng kichik kvadratlar usulining xatosini baholash.

Buning uchun siz ushbu satrlardan dastlabki ma'lumotlarning kvadratik og'ishlarining yig'indisini hisoblashingiz kerak va , kichikroq qiymat eng kichik kvadratlar usuli bo'yicha dastlabki ma'lumotlarni yaxshiroq yaqinlashtiradigan chiziqqa mos keladi.

dan beri, keyin chiziq y=0,165x+2,184 asl ma'lumotlarni yaxshiroq taxmin qiladi.

Eng kichik kvadratlar usulining grafik tasviri (LSM).

Chizmalarda hamma narsa ajoyib ko'rinadi. Qizil chiziq topilgan chiziqdir y=0,165x+2,184, ko'k chiziq , pushti nuqtalar asl ma'lumotlardir.

Bu nima uchun, bu taxminlar nima uchun?

Men shaxsan ma'lumotlarni tekislash, interpolyatsiya va ekstrapolyatsiya muammolarini hal qilish uchun foydalanaman (asl misolda sizdan kuzatilgan qiymatning qiymatini topish so'ralishi mumkin) y da x=3 yoki qachon x=6 MNC usuli bo'yicha). Ammo bu haqda keyinroq saytning boshqa bo'limida to'xtalib o'tamiz.

Sahifaning yuqorisi

Isbot.

Shunday qilib, topilganda a va b funktsiya eng kichik qiymatni oladi, bu nuqtada funktsiya uchun ikkinchi tartibli differentsialning kvadrat shaklidagi matritsasi zarur. ijobiy aniqlangan edi. Keling, ko'rsataylik.

Ikkinchi tartibli differensial quyidagi shaklga ega:

Ya'ni

Shuning uchun kvadrat shaklning matritsasi shaklga ega

va elementlarning qiymatlari bog'liq emas a va b.

Keling, matritsa musbat aniq ekanligini ko'rsataylik. Bu kichik burchaklar ijobiy bo'lishini talab qiladi.

Birinchi tartibli burchakli minor . Tengsizlik qat'iy, chunki nuqtalar bir-biriga to'g'ri kelmaydi. Bu keyingi gaplarda nazarda tutiladi.

Ikkinchi tartibli burchakli minor

Keling, buni isbotlaylik Matematik induksiya usuli.

Xulosa: topilgan qiymatlar a va b funksiyaning eng kichik qiymatiga mos keladi , shuning uchun eng kichik kvadratlar usuli uchun kerakli parametrlardir.

Hech tushundingizmi?
Yechimga buyurtma bering

Sahifaning yuqorisi

Eng kichik kvadratlar usuli yordamida prognozni ishlab chiqish. Muammoni hal qilish misoli

Ekstrapolyatsiya — bu ilmiy tadqiqot usuli boʻlib, u oʻtmishdagi va hozirgi tendentsiyalarni, qonuniyatlarni, bashorat qilish obʼyektining kelajakdagi rivojlanishiga aloqadorlikni yoyishga asoslangan. Ekstrapolyatsiya usullari kiradi harakatlanuvchi o'rtacha usuli, eksponensial tekislash usuli, eng kichik kvadratlar usuli.

Mohiyat eng kichik kvadratlar usuli kuzatilgan va hisoblangan qiymatlar orasidagi kvadrat og'ishlar yig'indisini minimallashtirishdan iborat. Hisoblangan qiymatlar tanlangan tenglama - regressiya tenglamasi bo'yicha topiladi. Haqiqiy qiymatlar va hisoblanganlar orasidagi masofa qanchalik kichik bo'lsa, regressiya tenglamasiga asoslangan prognoz shunchalik aniqroq bo'ladi.

O'rganilayotgan hodisaning mohiyatini nazariy tahlil qilish, uning o'zgarishi vaqt qatori bilan namoyon bo'ladi, egri chiziqni tanlash uchun asos bo'lib xizmat qiladi. Ba'zan qatorlar darajalarining o'sishining tabiati haqidagi fikrlar hisobga olinadi. Shunday qilib, agar mahsulotning o'sishi arifmetik progressiyada kutilsa, tekislash to'g'ri chiziqda amalga oshiriladi. Agar o'sish eksponent bo'lib chiqsa, unda tekislash eksponensial funktsiyaga muvofiq amalga oshirilishi kerak.

Eng kichik kvadratlar usulining ish formulasi : Y t+1 = a*X + b, bu erda t + 1 - prognoz davri; Ut+1 – bashorat qilingan indikator; a va b koeffitsientlar; X - vaqt ramzi.

a va b koeffitsientlari quyidagi formulalar bo'yicha hisoblanadi:

bu erda, Uf - dinamika seriyasining haqiqiy qiymatlari; n - vaqt qatoridagi darajalar soni;

Vaqtinchalik qatorlarni eng kichik kvadratlar usuli bilan tekislash o‘rganilayotgan hodisaning rivojlanish qonuniyatlarini aks ettirishga xizmat qiladi. Trendni analitik ifodalashda vaqt mustaqil o'zgaruvchi sifatida qaraladi va qator darajalari ushbu mustaqil o'zgaruvchining funktsiyasi sifatida ishlaydi.

Hodisaning rivojlanishi boshlang'ich nuqtadan necha yil o'tganiga bog'liq emas, balki uning rivojlanishiga qanday omillar, qaysi yo'nalishda va qanday intensivlik bilan ta'sir qilganiga bog'liq. Bundan ma'lum bo'ladiki, hodisaning o'z vaqtida rivojlanishi ana shu omillarning ta'siri natijasida paydo bo'ladi.

Egri chiziq turini, vaqtga analitik bog'liqlik turini to'g'ri belgilash oldindan bashorat qilish tahlilining eng qiyin vazifalaridan biridir. .

Parametrlari eng kichik kvadratlar usuli bilan aniqlanadigan tendentsiyani tavsiflovchi funksiya turini tanlash ko'p hollarda bir qator funktsiyalarni qurish va ularni ildiz qiymati bo'yicha bir-biri bilan solishtirish orqali empirikdir. - formula bo'yicha hisoblangan o'rtacha kvadrat xato:

Bu erda Uf - dinamika seriyasining haqiqiy qiymatlari; Ur - vaqt seriyasining hisoblangan (tekislashtirilgan) qiymatlari; n - vaqt qatoridagi darajalar soni; p - trendni (rivojlanish tendentsiyasini) tavsiflovchi formulalarda aniqlangan parametrlar soni.

Eng kichik kvadratlar usulining kamchiliklari :

• o‘rganilayotgan iqtisodiy hodisani matematik tenglama yordamida tasvirlashga harakat qilganda, prognoz qisqa vaqt davomida aniq bo‘ladi va yangi ma’lumotlar paydo bo‘lishi bilan regressiya tenglamasini qayta hisoblash kerak;
• standart kompyuter dasturlari yordamida echilishi mumkin bo'lgan regressiya tenglamasini tanlashning murakkabligi.

Prognozni ishlab chiqishda eng kichik kvadratlar usulidan foydalanishga misol

Vazifa . Mintaqada ishsizlik darajasini tavsiflovchi ma'lumotlar mavjud, %

• Noyabr, dekabr, yanvar oylari uchun mintaqadagi ishsizlik darajasining prognozini quyidagi usullardan foydalangan holda tuzing: harakatlanuvchi o'rtacha, eksponensial tekislash, eng kichik kvadratlar.
• Har bir usuldan foydalanib, olingan prognozlardagi xatolarni hisoblang.
• Olingan natijalarni solishtiring, xulosalar chiqaring.

Eng kichik kvadratlar yechimi

Yechim uchun biz kerakli hisob-kitoblarni amalga oshiradigan jadval tuzamiz:

e = 28,63/10 = 2,86% prognozning aniqligi yuqori.

Xulosa : Hisob-kitoblarda olingan natijalarni solishtirish harakatlanuvchi o'rtacha usuli , eksponensial tekislash va eng kichik kvadratlar usuli, biz eksponensial tekislash usuli bo'yicha hisob-kitoblarda o'rtacha nisbiy xatolik 20-50% gacha tushadi, deb aytishimiz mumkin. Bu shuni anglatadiki, bu holatda bashorat qilishning aniqligi faqat qoniqarli.

Birinchi va uchinchi hollarda prognozning aniqligi yuqori, chunki o'rtacha nisbiy xatolik 10% dan kam. Ammo harakatlanuvchi o'rtacha usuli ishonchliroq natijalarga erishishga imkon berdi (noyabr uchun prognoz - 1,52%, dekabr uchun prognoz - 1,53%, yanvar uchun prognoz - 1,49%), chunki bu usuldan foydalanishda o'rtacha nisbiy xato eng kichik - 1 , o'n uch%.

Eng kichik kvadrat usuli

Boshqa tegishli maqolalar:

Foydalanilgan manbalar ro'yxati

1. Ijtimoiy xavflarni diagnostika qilish va muammolar, tahdidlar va ijtimoiy oqibatlarni prognozlash masalalari bo'yicha ilmiy-uslubiy tavsiyalar. Rossiya davlat ijtimoiy universiteti. Moskva. 2010;
2. Vladimirova L.P. Bozor sharoitida prognozlash va rejalashtirish: Proc. nafaqa. M .: "Dashkov va Ko" nashriyoti, 2001;
3. Novikova N.V., Pozdeeva O.G. Milliy iqtisodiyotni prognozlash: o‘quv-uslubiy qo‘llanma. Yekaterinburg: Ural nashriyoti. davlat iqtisodiyot universitet, 2007;
4. Slutskin L.N. Biznesni bashorat qilish bo'yicha MBA kursi. Moskva: Alpina biznes kitoblari, 2006 yil.

MNE dasturi

Ma'lumotlarni kiriting

Ma'lumotlar va yaqinlashtirish y = a + b x

i- tajriba punkti soni;
x i- nuqtadagi belgilangan parametrning qiymati i;
y i- nuqtadagi o'lchangan parametrning qiymati i;
ō i- nuqtadagi o'lchov og'irligi i;
y i, hisob.- o'lchangan qiymat va regressiyadan hisoblangan qiymat o'rtasidagi farq y nuqtada i;
S x i (x i)- xatolarni baholash x i o'lchashda y nuqtada i.

Ma'lumotlar va yaqinlashtirish y = kx

i	x i	y i	ō i	y i, hisob.	y i	S x i (x i)

Diagramma ustiga bosing

MNC onlayn dasturi uchun foydalanuvchi qo'llanma.

Ma'lumotlar maydonida har bir alohida qatorga bitta tajriba nuqtasida "x" va "y" qiymatlarini kiriting. Qiymatlar bo'sh joy (bo'shliq yoki yorliq) bilan ajratilishi kerak.

Uchinchi qiymat "w" ning nuqta og'irligi bo'lishi mumkin. Agar nuqta og'irligi ko'rsatilmagan bo'lsa, u birga teng. Aksariyat hollarda tajriba nuqtalarining og'irligi noma'lum yoki hisoblanmaydi; barcha eksperimental ma'lumotlar ekvivalent deb hisoblanadi. Ba'zida o'rganilgan qiymatlar diapazonidagi og'irliklar, albatta, ekvivalent emas va hatto nazariy jihatdan hisoblanishi mumkin. Misol uchun, spektrofotometriyada og'irliklarni oddiy formulalar yordamida hisoblash mumkin, garchi asosan har bir kishi mehnat xarajatlarini kamaytirish uchun buni e'tiborsiz qoldiradi.

Ma'lumotlarni Microsoft Office-dan Excel yoki Open Office-dan Calc kabi ofis to'plami elektron jadvalidan almashish buferi orqali joylashtirish mumkin. Buni amalga oshirish uchun elektron jadvalda nusxa ko'chirish uchun ma'lumotlar oralig'ini tanlang, buferga ko'chiring va ma'lumotlarni ushbu sahifadagi ma'lumotlar maydoniga joylashtiring.

Eng kichik kvadratlar usuli bilan hisoblash uchun ikkita koeffitsientni aniqlash uchun kamida ikkita nuqta kerak bo'ladi: "b" - to'g'ri chiziqning moyillik burchagi tangensi va "a" - "y" dagi to'g'ri chiziq bilan kesilgan qiymat. ` o'qi.

Hisoblangan regressiya koeffitsientlarining xatosini baholash uchun eksperimental nuqtalar sonini ikkitadan ortiq qilib belgilash kerak.

Eng kichik kvadratlar usuli (LSM).

Tajriba punktlarining soni qancha ko'p bo'lsa, koeffitsientlarning statistik bahosi qanchalik aniq bo'lsa (Talaba koeffitsientining kamayishi tufayli) va taxmin umumiy tanlamaning bahosiga qanchalik yaqin bo'ladi.

Har bir eksperimental nuqtada qiymatlarni olish ko'pincha katta mehnat xarajatlari bilan bog'liq, shuning uchun ko'pincha murosasiz miqdordagi tajribalar o'tkaziladi, bu hazm bo'ladigan baho beradi va ortiqcha mehnat xarajatlariga olib kelmaydi. Qoida tariqasida, ikkita koeffitsientli chiziqli eng kichik kvadratlarga bog'liqlik uchun eksperimental nuqtalar soni 5-7 ball mintaqasida tanlanadi.

Chiziqli bog'liqlik uchun eng kichik kvadratlarning qisqacha nazariyasi

Faraz qilaylik, bizda [`y_i`, `x_i`] qiymatlar juftligi ko`rinishidagi eksperimental ma`lumotlar to`plami bor, bu erda `i` - 1 dan `n` gacha bo`lgan bitta eksperimental o`lchov soni; `y_i` - `i` nuqtadagi o`lchangan qiymatning qiymati; `x_i` - biz `i` nuqtada o`rnatgan parametrning qiymati.

Misol tariqasida Ohm qonunining ishlashini keltirish mumkin. Elektr zanjirining bo'limlari orasidagi kuchlanishni (potentsial farqni) o'zgartirib, biz ushbu qismdan o'tadigan oqim miqdorini o'lchaymiz. Fizika bizga eksperimental ravishda topilgan qaramlikni beradi:

`I=U/R`,
bu erda `I` - joriy quvvat; `R` - qarshilik; `U` - kuchlanish.

Bunday holda, "y_i" o'lchangan oqim qiymati va "x_i" - kuchlanish qiymati.

Yana bir misol sifatida, eritmadagi moddaning eritmasi yorug'likning yutilishini ko'rib chiqaylik. Kimyo bizga formulani beradi:

`A = el C`,
bu yerda `A` eritmaning optik zichligi; `e` - erigan moddaning o`tkazuvchanligi; `l` - yorug'lik eritmasi bo'lgan kyuvettadan o'tgandagi yo'l uzunligi; `C` - erigan moddaning konsentratsiyasi.

Bunday holda, "y_i" - o'lchangan optik zichlik "A" va "x_i" - biz o'rnatgan moddaning konsentratsiyasi.

Biz `x_i` o`rnatishdagi nisbiy xatolik `y_i` o`lchashdagi nisbiy xatolikdan ancha kam bo`lgan holatni ko`rib chiqamiz. Shuningdek, biz "y_i" ning barcha o'lchangan qiymatlari tasodifiy va normal taqsimlangan deb taxmin qilamiz, ya'ni. normal taqsimot qonuniga rioya qiling.

`y` `x` ga chiziqli bog`liqligi bo`lsa, nazariy bog`liqlikni yozishimiz mumkin:
`y = a + bx`.

Geometrik nuqtai nazardan `b` koeffitsienti chiziq qiyaligining `x` o`qiga tangensini, `a` koeffitsienti esa chiziqning ` bilan kesishgan nuqtasidagi `y` qiymatini bildiradi. y` o'qi (`x = 0` bilan).

Regressiya chizig'ining parametrlarini topish.

Tajribada "y_i" ning o'lchangan qiymatlari har doim haqiqiy hayotga xos bo'lgan o'lchov xatolari tufayli nazariy chiziqda to'liq yotolmaydi. Shuning uchun chiziqli tenglama tenglamalar tizimi bilan ifodalanishi kerak:
`y_i = a + b x_i + e_i` (1),
bu yerda `e_i` - `i` tajribadagi `y` ning noma`lum o`lchash xatosi.

Bog'liqlik (1) ham deyiladi regressiya, ya'ni. ikki miqdorning statistik ahamiyatga ega bo'lgan bir-biriga bog'liqligi.

Tobelikni tiklash vazifasi tajriba nuqtalaridan [`y_i`, `x_i`] `a` va `b` koeffitsientlarini topishdan iborat.

Odatda "a" va "b" koeffitsientlarini topish uchun ishlatiladi eng kichik kvadrat usuli(MNK). Bu maksimal ehtimollik printsipining alohida holati.

(1) ni `e_i = y_i - a - b x_i` shaklida qayta yozamiz.

Keyin kvadratik xatolar yig'indisi bo'ladi
`P = yig'indi_(i=1)^(n) e_i^2 = yig'indi_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Eng kichik kvadratlar usulining printsipi "a" va "b" parametrlariga nisbatan yig'indini (2) minimallashtirishdir..

Minimalga “a” va “b” koeffitsientlariga nisbatan (2) yig‘indining qisman hosilalari nolga teng bo‘lganda erishiladi:
`frac(qisman PH)(qisman a) = frak(qisman yig'indi_(i=1)^(n) (y_i - a - b x_i)^2)(qisman a) = 0`
`frac(qisman PH)(qisman b) = frak(qisman yig'indi_(i=1)^(n) (y_i - a - b x_i)^2)(qisman b) = 0`

Hosilalarni kengaytirib, ikkita noma'lumli ikkita tenglamalar tizimini olamiz:
`sum_(i=1)^(n) (2a + 2bx_i - 2y_i) = yig'indi_(i=1)^(n) (a + bx_i - y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = summa_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Biz qavslarni ochamiz va kerakli koeffitsientlarga bog'liq bo'lmagan summalarni ikkinchi yarmiga o'tkazamiz, biz chiziqli tenglamalar tizimini olamiz:
`sum_(i=1)^(n) y_i = a n + b summa_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = a yig'indi_(i=1)^(n) x_i + b summa_(i=1)^(n) x_i^2`

Olingan tizimni yechib, `a` va `b` koeffitsientlari uchun formulalarni topamiz:

`a = frak(sum_(i=1)^(n) y_i yig'indisi_(i=1)^(n) x_i^2 - yig'indi_(i=1)^(n) x_i summa_(i=1)^(n) ) x_iy_i) (n summa_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2)` (3.1)

`b = frak(n sum_(i=1)^(n) x_iy_i - sum_(i=1)^(n) x_i sum_(i=1)^(n) y_i) (n sum_(i=1)^ (n) x_i^2 - (sum_(i=1)^(n) x_i)^2)` (3.2)

Bu formulalar `n > 1` (chiziq kamida 2 nuqta yordamida chizilishi mumkin) va determinant `D = n summa_(i=1)^(n) x_i^2 - (sum_(i= 1) bo'lganda yechimlarga ega. )^(n) x_i)^2 != 0`, ya'ni tajribadagi `x_i` nuqtalari har xil bo'lganda (ya'ni chiziq vertikal bo'lmaganda).

Regressiya chizig'i koeffitsientlaridagi xatolarni baholash

`a` va `b` koeffitsientlarini hisoblashda xatolikni aniqroq baholash uchun ko`p miqdordagi eksperimental nuqtalardan foydalanish maqsadga muvofiqdir. `n = 2` bo'lganda, koeffitsientlarning xatosini taxmin qilish mumkin emas, chunki yaqinlashuvchi chiziq ikkita nuqtadan noyob tarzda o'tadi.

`V` tasodifiy o`zgaruvchining xatosi aniqlanadi xatolarni to'plash qonuni
`S_V^2 = summa_(i=1)^p (frac(qisman f)(qisman z_i))^2 S_(z_i)^2`,
bu yerda `p` - `S_V` xatosiga ta`sir qiluvchi `S_(z_i)` xatosi bo`lgan `z_i` parametrlari soni;
`f` - `V` ning `z_i` ga bog`liqlik funksiyasi.

`a` va `b` koeffitsientlari xatosi uchun xatolar to`planish qonunini yozamiz.
`S_a^2 = summa_(i=1)^(n)(frac(qisman a)(qisman y_i))^2 S_(y_i)^2 + summa_(i=1)^(n)(frac(qisman a) )(qisman x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(qisman a)(qisman y_i))^2 `,
`S_b^2 = summa_(i=1)^(n)(frac(qisman b)(qisman y_i))^2 S_(y_i)^2 + summa_(i=1)^(n)(frac(qisman b) )(qisman x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(qisman b)(qisman y_i))^2 `,
chunki `S_(x_i)^2 = 0` (biz avvalroq `x` xatosi ahamiyatsiz deb belgilagan edik).

`S_y^2 = S_(y_i)^2` - `y` o`lchamidagi xatolik (diferans, kvadrat standart og`ish), xatolik barcha `y` qiymatlari uchun bir xil deb faraz qilinadi.

Olingan iboralarga "a" va "b" ni hisoblash formulalarini qo'yib, biz hosil bo'lamiz.

`S_a^2 = S_y^2 frak(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 - x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frak((n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2) summa_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frak(sum_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frak(sum_(i=1)^(n) (n x_i - summa_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frak( n (n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frak(n) (D) ` (4.2)

Ko'pgina haqiqiy tajribalarda "Sy" qiymati o'lchanmaydi. Buning uchun rejaning bir yoki bir nechta nuqtasida bir nechta parallel o'lchovlarni (tajribalarni) amalga oshirish kerak, bu esa tajriba vaqtini (va ehtimol narxini) oshiradi. Shuning uchun, odatda, `y` ning regressiya chizig`idan chetlanishini tasodifiy deb hisoblash mumkin, deb taxmin qilinadi. Bu holda `y` dispersiya bahosi formula bo'yicha hisoblanadi.

`S_y^2 = S_(y, qolgan)^2 = frak(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

`n-2` bo`luvchisi eksperimental ma`lumotlarning bir xil namunasi uchun ikkita koeffitsientni hisoblash tufayli erkinlik darajalari sonini kamaytirganimiz sababli paydo bo`ladi.

Bu baho `S_(y, dam)^2` regressiya chizig'iga nisbatan qoldiq dispersiya deb ham ataladi.

Koeffitsientlarning ahamiyatini baholash Talaba mezoniga muvofiq amalga oshiriladi

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Agar hisoblangan `t_a`, `t_b` mezonlari `t(P, n-2)` jadval mezonlaridan kichik bo`lsa, u holda tegishli koeffitsient berilgan `P` ehtimol bilan noldan sezilarli farq qilmaydi deb hisoblanadi.

Chiziqli munosabat tavsifi sifatini baholash uchun Fisher mezonidan foydalangan holda `S_(y, dam)^2` va `S_(bar y)`ni o`rtachaga nisbatan solishtirish mumkin.

`S_(bar y) = frak(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frak(sum_(i=1)^n (y_i - (sum_(i=) 1)^n y_i) /n)^2) (n-1)` - `y` o`rtachaga nisbatan dispersiyaning tanlanma bahosi.

Bog'liqlikni tavsiflash uchun regressiya tenglamasining samaradorligini baholash uchun Fisher koeffitsienti hisoblanadi.
`F = S_(bar y) / S_(y, qolgan)^2`,
Bu jadvaldagi Fisher koeffitsienti `F(p, n-1, n-2)` bilan solishtiriladi.

Agar `F > F(P, n-1, n-2)` bo`lsa, `y = f(x)` bog`liqligini regressiya tenglamasi yordamida tavsiflash va o`rtacha qiymatdan foydalangan holda tavsiflash o`rtasidagi farq ehtimollik bilan statistik ahamiyatga ega hisoblanadi. `P`. Bular. regressiya o'rtacha atrofida "y" tarqalishiga qaraganda bog'liqlikni yaxshiroq tasvirlaydi.

Diagramma ustiga bosing
jadvalga qiymatlarni qo'shish uchun

Eng kichik kvadrat usuli. Eng kichik kvadratlar usuli a, b, c noma'lum parametrlarni, qabul qilingan funktsional bog'liqlikni aniqlashni anglatadi.

Eng kichik kvadratlar usuli noma'lum parametrlarni aniqlashni anglatadi a, b, c,… qabul qilingan funktsional bog'liqlik

y = f(x,a,b,c,…),

bu xatoning o'rtacha kvadratining (variantning) minimalini ta'minlaydi

, (24)

bu yerda x i , y i - tajribadan olingan juft sonlar to'plami.

Bir necha oʻzgaruvchili funksiyaning ekstremum sharti uning qisman hosilalarining yoʻqolishi sharti boʻlganligi sababli, parametrlar a, b, c,… tenglamalar tizimidan aniqlanadi:

; ; ; … (25)

Shuni esda tutish kerakki, eng kichik kvadratlar usuli funktsiya shaklidan keyin parametrlarni tanlash uchun ishlatiladi y = f(x) belgilangan.

Agar nazariy mulohazalardan empirik formula qanday bo'lishi kerakligi haqida xulosa chiqarishning iloji bo'lmasa, u holda vizual tasvirlarga, birinchi navbatda, kuzatilgan ma'lumotlarning grafik tasviriga asoslanish kerak.

Amalda, ko'pincha quyidagi funktsiyalar turlari bilan cheklanadi:

1) chiziqli ;

2) kvadratik a .