Pasiskirstymo parametrų įvertinimo užduotis – remiantis imties duomenimis gauti labiausiai tikėtinus bendrosios visumos nežinomų pasiskirstymo parametrų įverčius. Be momentų metodo, norint nustatyti taškinį pasiskirstymo parametrų įvertinimą, taip pat naudojamas didžiausios tikimybės metodas. Didžiausios tikimybės metodą pasiūlė anglų statistikas R. Fisheris 1912 m.

Leiskite įvertinti atsitiktinio dydžio X nežinomą parametrą  iš bendrosios populiacijos su tikimybių pasiskirstymo tankiu p(x)= p(x, ) paimtas mėginys x 1 ,x 2 ,…,x n. Imties rezultatus vertinsime kaip realizaciją n-dimensinis atsitiktinis kintamasis ( X 1 ,X 2 ,…,X n). Anksčiau svarstytas momentų metodas nežinomų teorinio skirstinio parametrų taškiniams įverčiams gauti ne visada duoda geriausius įverčius. Įverčių, turinčių reikiamas (geriausias) savybes, paieškos metodas yra metodas maksimalus patikimumas.

Didžiausios tikimybės metodas yra pagrįstas tam tikros funkcijos ekstremumo nustatymo sąlyga, vadinama tikimybės funkcija.

Tikimybės funkcija DSV Х

L (x 1 ,x 2 ,…,x n ; )=p(x 1 ; )p(x 2 ; )…p(x n ; ),

kur x 1, …, x n– fiksuotų pavyzdžių parinktys,  – nežinomas apskaičiuotas parametras, p(x i; ) yra įvykio tikimybė X= x i .

Tikimybės funkcija NSV X iškvieskite argumento  funkciją:

L (x 1 ,x 2 ,…,x n ; )=f(x 1 ; )f(x 2 ; )…f(x n ; ),

kur f(x i; ) yra duotoji tikimybės tankio funkcija taškuose x i .

Kaip taškinis pasiskirstymo parametrų įvertinimas  paimkite jos vertę, kuriai esant tikimybės funkcija pasiekia maksimumą. Sąmata
paskambino didžiausios tikimybės įvertinimas. Nes funkcijas L ir
L pasiekti savo maksimumą esant toms pačioms  reikšmėms, tada paprastai rasti ekstremalų (maksimalų) naudojimą
L kaip patogesnė funkcija.

Norėdami nustatyti maksimalų tašką
L funkcijos ekstremumui apskaičiuoti reikia naudoti gerai žinomą algoritmą:

Tuo atveju, kai tikimybės tankis priklauso nuo dviejų nežinomų parametrų -  1 ir  2, tada kritiniai taškai randami sprendžiant lygčių sistemą:

Taigi, pagal didžiausios tikimybės metodą, kaip nežinomo parametro  įvertį imama reikšmė *, kuriai esant
mėginių paskirstymai x 1 ,x 2 ,…,x n maksimalus.

8 užduotis. Raskime didžiausią tikimybę dėl tikimybės p pagal Bernulio schemą,

Išleiskime n nepriklausomus pakartotinius testus ir išmatuokite sėkmingų rezultatų skaičių, kurį mes žymime m. Pagal Bernulio formulę tikimybė, kad m sėkmės nuo n yra DSW tikimybės funkcija.

Sprendimas : Sudarykite tikimybės funkciją
.

Pagal didžiausios tikimybės metodą randame tokią reikšmę p, kuris maksimaliai padidina L, ir su juo ln L.

Tada paimkite logaritmą L, mes turime:

Funkcijos ln išvestinė Lįjungta p turi formą
o ekstremumo taške lygus nuliui. Todėl sprendžiant lygtį
, mes turime
.

Patikrinkite antrosios išvestinės ženklą
gautame taške:

. Nes
bet kurioms argumento reikšmėms, tada rasta vertė p yra maksimalus taškas.

Reiškia, yra geriausias įvertinimas
.

Taigi, pagal didžiausios tikimybės metodą, tikimybės įvertis p pokyčius BET Bernulio schemoje yra santykinis šio įvykio dažnis .

Jei mėginys x 1 , x 2 ,…, x n išgautas iš normaliai pasiskirstančios populiacijos, tada didžiausios tikimybės vidurkio ir dispersijos įverčiai yra:

Rastos reikšmės sutampa su šių parametrų įverčiais, gautais momentų metodu. Nes Jei dispersija yra šališka, ji turi būti padauginta iš Besselio korekcijos. Tada ji žiūrės
, sutampa su imties dispersija.

Užduotis 9 . Tegu pateikiamas Puasono skirstinys
kur m= x i mes turime
. Raskime nežinomo parametro įvertinimą didžiausios tikimybės metodu  .

Sprendimas :

Tikimybės funkcijos sudarymas L ir jo logaritmas ln L. Mes turime:

Raskime išvestinę iš ln L:
ir išspręskite lygtį
. Gautas skirstinio parametro įvertinimas  bus tokia forma:
Tada
nes adresu
antra dalinė išvestinė
tada tai yra maksimalus taškas. Taigi imties vidurkį galima imti kaip didžiausią Puasono skirstinio parametro  tikimybės įvertį.

Galima pastebėti, kad su eksponentiniu skirstiniu
imties verčių tikimybės funkcija x 1 , x 2 , …, x n atrodo kaip:

.

Eksponentinio skirstinio pasiskirstymo parametro  įvertis yra toks:
.

Didžiausios tikimybės metodo pranašumas yra galimybė gauti „gerus“ įverčius, turinčius tokias savybes kaip nuoseklumas, asimptotinis normalumas ir efektyvumas dideliems mėginiams pačiomis bendriausiomis sąlygomis.

Pagrindinis metodo trūkumas yra tikimybių lygčių sprendimo sudėtingumas, taip pat tai, kad analizuojamas pasiskirstymo dėsnis ne visada žinomas.

Be momentų metodo, aprašyto ankstesnėje pastraipoje, yra ir kitų nežinomų pasiskirstymo parametrų taškinio įvertinimo metodų. Tai apima R. Fisherio pasiūlytą didžiausios tikimybės metodą.

A. Diskretieji atsitiktiniai dydžiai. Leisti X yra diskretusis atsitiktinis kintamasis, kuris dėl to n testai paėmė vertes X 1 ,X 2 , ...,X P . Tarkime, kad kiekio pasiskirstymo dėsnio forma X nustatytas, bet nežinomas parametras θ kuri apibrėžia šį dėsnį. Būtina rasti jo taškinį įvertinimą.

Pažymėkime tikimybę, kad, atlikus testą, vertė X įgaus prasmę X i (i= 1 , 2, . . . , n), per p(X i ; θ ).

Diskretaus atsitiktinio dydžio tikimybės funkcijagretasX iškvieskite argumento funkciją θ :

L (X 1 , X 2 , ..., X P ; θ ) = p (X 1 ; θ ) R(X 2 ; θ ) . . . p (X n ; θ ),

kur X 1 ,X 2 , ...,X P - fiksuoti numeriai.

Kaip taškinis parametro įvertinimas θ paimkite šią vertę θ * = θ * (X 1 , X 2 , ..., X P), kai tikimybės funkcija pasiekia maksimumą. Sąmata θ * paskambino didžiausios tikimybės įvertinimas.

Funkcijos L ir ln L pasiekti maksimumą esant ta pačiai vertei θ , todėl užuot radę funkcijos maksimumą L ieškant (kas patogiau) funkcijos ln maksimumo L.

Log-likelihood funkcija iškvieskite funkciją ln L. Kaip žinoma, maksimalus funkcijos ln taškas L argumentas θ galite ieškoti, pavyzdžiui, taip:

3) rasti antrą išvestinę; jei antroji išvestinė at θ = θ * tada yra neigiamas θ * - maksimalus taškas.

Rastas maksimalus taškas θ * imamas kaip didžiausias parametro tikimybės įvertinimas θ .

Didžiausios tikimybės metodas turi daug privalumų: didžiausios tikimybės įverčiai paprastai yra nuoseklūs (tačiau jie gali būti šališki), asimptotiškai normaliai pasiskirstę (dideles vertes). n yra maždaug normalūs) ir turi mažiausią dispersiją, palyginti su kitais asimptotiškai normaliais įverčiais; jei apskaičiuotam parametrui θ yra veiksmingas įvertinimas θ *, tada tikimybės lygtis turi unikalų sprendimą θ *; šis metodas maksimaliai išnaudoja imties duomenis apie vertinamą parametrą, todėl jis ypač naudingas mažų imčių atveju.

Metodo trūkumas yra tas, kad dažnai reikia atlikti sudėtingus skaičiavimus.

1 pastaba. Tikimybės funkcija – argumento funkcija θ ; maksimalios tikimybės įvertinimas – nepriklausomų argumentų funkcija X 1 ,X 2 , ...,X P .

2 pastaba. Maksimalios tikimybės įvertis ne visada sutampa su momentų metodu rastu įverčiu.

1 pavyzdysλ Puasono pasiskirstymas

kur m- atliktų tyrimų skaičius; x i - įvykio atvejų skaičius i-m ( i=1, 2, ..., n) patirtis (patirtis susideda iš t testai).

Sprendimas. Atsižvelgdami į tai, sudarykime tikimybės funkciją. θ= λ :

L = p (X 1 ; λ :) p (X 2 ; λ :) . . .p (X n ; λ :),=

.

Rašome tikimybės lygtį, kurios pirmąją išvestinę prilyginsime nuliui:

Raskite kritinį tašką, kuriam išsprendžiame gautą lygtį λ:

Raskime antrąją išvestinę λ atžvilgiu:

Nesunku pastebėti, kad λ = antroji išvestinė yra neigiama; todėl λ = yra didžiausias taškas, todėl Puasono skirstinio parametro λ didžiausią tikimybę reikia paimti imties vidurkį λ* = .

2 pavyzdys Raskite didžiausią parametro tikimybę p binominis skirstinys

jei įeina n 1 nepriklausomas bandomasis įvykis BET pasirodė X 1 = m 1 kartą ir P 2 nepriklausomas bandomasis įvykis BET pasirodė X 2 = t 2 kartą.

Sprendimas. Atsižvelgdami į tai, sudarykime tikimybės funkciją θ = p:

Raskime log-likelihood funkciją:

Raskite pirmąją išvestinę pagal R:

.

.

Raskite kritinį tašką, kuriam išsprendžiame gautą lygtį p:

Raskime antrąją išvestinę atžvilgiu p:

.

Nesunku patikrinti, kada antroji išvestinė yra neigiama; Vadinasi, - maksimalus taškas, todėl jis turi būti laikomas didžiausiu nežinomos tikimybės įverčiu p binominis skirstinys:

B. Nuolatiniai atsitiktiniai dydžiai. Leisti X - nuolatinis atsitiktinis kintamasis, kuris dėl to n testai paėmė vertes X 1 ,X 2 , ..., x P . Tarkime, kad pasiskirstymo tankio forma f(x) nustatytas, bet nežinomas parametras θ kuri apibrėžia šią funkciją.

Ištisinio atsitiktinio dydžio tikimybės funkcijagretasX iškvieskite argumento funkciją θ :

L (X 1 ,X 2 , ...,X P ; θ ) = f (X 1 ; θ ) f (X 2 ; θ ) . . . f (x n ; θ ),

kur X 1 ,X 2 , ..., x P - fiksuoti numeriai.

Tolydžio atsitiktinio dydžio nežinomo pasiskirstymo parametro didžiausio tikimybės įverčio ieškoma taip pat, kaip ir diskrečiojo kintamojo atveju.

3 pavyzdys Raskite parametro λ didžiausią tikimybę, eksponentinį skirstinį

(0< X< ∞),

jei dėl to n išbandyti atsitiktinį kintamąjį X, paskirstytas pagal eksponentinį dėsnį, paėmė reikšmes X 1 ,X 2 , ...,X P .

Sprendimas. Atsižvelgdami į tai, sudarykime tikimybės funkciją θ= λ:

L= f (X 1 ; λ ) f (X 2 ; λ ) . . . f (X n ; λ ) =.

Raskime log-likelihood funkciją:

Raskite pirmąją išvestinę λ atžvilgiu:

Rašome tikimybės lygtį, kurios pirmąją išvestinę prilyginsime nuliui:

Raskime kritinį tašką, kuriam išsprendžiame gautą λ lygtį:

Raskime antrąją išvestinę λ atžvilgiu :

Ankstesnėje dalyje buvo nagrinėjama Bajeso vertinimo teorija. Vienas iš naudingiausių ten gautų įverčių yra įvertinimas iš užpakalinio tikimybės tankio maksimumo. Šio įvertinimo reikšmės nustatomos maksimaliai padidinus sąlyginį tankį

kintamojo atžvilgiu. Šiam vertinimui buvo įvestas specialus pavadinimas. Kadangi besąlyginis tankis nepriklauso nuo parametro, apskaičiuotas reikšmes galima rasti maksimaliai padidinus jungties tankį

santykinai . Taip pat galite maksimaliai padidinti šio tankio natūralaus logaritmo vertę. Šiuo atveju kiekvienos imties įverčio vertė yra lygties šaknis

Tarkime, kad a priori informacijos apie parametrą nėra. Jei parametras būtų atsitiktinis ir turėtų normalų tikimybių tankį

,

tada čia nagrinėjamą atvejį būtų galima gauti pereinant prie ribos neribotai padidinus visų vektoriaus komponentų dispersijas. Kadangi tuo pačiu metu

,

tada mes turime . Taigi, nesant a priori informacijos apie parametrą, galime įdėti

. (6.27)

Gautas įvertis pagal (6.26) lygtį vadinamas didžiausios tikimybės įverčiu. Ji yra lygties šaknis

(6.28)

arba lygiaverčiai

. (6.29)

Didžiausios tikimybės įvertinimas buvo pasiūlytas prieš sukuriant Bajeso įvertinimo teoriją. Ji buvo apibrėžta kaip parametro reikšmė, kuriai esant tikimybės funkcija įgauna didžiausią reikšmę. Iš aukščiau pateiktos diskusijos turėtų būti akivaizdu, kad didžiausios tikimybės įverčio tikslumas bus blogesnis nei Bajeso įverčio. Nepaisant to, yra rimtų priežasčių, kodėl naudoti šį įvertinimą yra pagrįsta. Taigi gana dažnai kyla vertinimo problemų, kuriose

Parametras nėra atsitiktinis ir jo reikšmė nežinoma;

Parametras yra atsitiktinis, bet jo a priori tikimybės tankis nežinomas;

Užpakalinio tankio [arba ] išraiška pasirodo tokia sudėtinga, kad ją sunku naudoti skaičiavimams, o tikimybės funkcija yra gana paprastos formos.

Pirmuoju atveju iš viso nėra galimybės rasti Bajeso įverčio, ​​nes iš viso negalima kalbėti apie tikimybių tankį. Vienas iš galimų būdų įveikti šį sunkumą yra naudoti pseudo-Bajeso įverčius. Tokie skaičiavimai bus aptarti 6.5 punkte.

6.6 pavyzdys. Apsvarstykite vieną iš klasikinių įvertinimo problemų, kuri buvo išspręsta naudojant didžiausios tikimybės įverčius. Tegul reikia įvertinti normalaus atsitiktinio dydžio vidutinę vertę ir dispersiją, remiantis nepriklausomų šio kintamojo stebėjimų imtimi. Stebėtam kiekiui turime

, kur

Dėl stebėjimų nepriklausomumo galima pakabinti

Šioje užduotyje parametrai, kuriuos reikia įvertinti, nėra atsitiktiniai, todėl Bayeso įverčiai negali būti rasti.

Ši lygtis turi tik vieną šaknį , kuris turėtų būti laikomas didžiausiu vidurkio tikimybės įvertinimu. Kadangi matematinis šio įverčio lūkestis sutampa su įvertinto parametro reikšme, t.y. tada šis įvertinimas vadinamas nešališku.

Vyksta 2. Tarkime, kad parametro reikšmė yra žinoma. Didžiausia dispersijos tikimybė šiuo atveju yra lygties šaknis

.

Išspręsdami šią lygtį, gauname

.

Šis įvertinimas taip pat yra nešališkas, nes .

Dabar apsvarstykite standartinio nuokrypio įvertinimo problemą. Galima daryti prielaidą, kad šis įvertis pateikiamas kaip dispersijos įverčio kvadratinė šaknis. Tai tiesa, nes sąmata

yra lygties šaknis

Vyksta 3. Abiejų parametrų reikšmės ir yra nežinomos. Šiuo atveju turi būti įvertinti du parametrai ir. Apskaičiavę tikimybės funkcijos išvestines kintamųjų atžvilgiu ir prilyginę juos nuliui ir išsprendę rastą dviejų lygčių sistemą, gauname

; .

Vidurkio įvertis čia vėl yra nešališkas, o dispersijos įverčio vidurkis yra lygus įvertinto parametro reikšmei, t.y., esant nurodytoms sąlygoms, jis yra šališkas. Įvedus pataisą būtų galima gauti nešališką įvertinimą , tačiau tai nebėra didžiausios tikimybės įvertis.

Dažnai naudinga turėti algoritmus, skirtus nuosekliai apskaičiuoti ir įverčius. Čia didžiausios tikimybės įverčių indeksai pakeičiami indeksu , kuris nurodo įvertinimui naudotos imties dydį. Kai imties dydis lygus , įvertinimas . Todėl šio įverčio nuoseklaus skaičiavimo algoritmas turi formą . Nuosekliojo įverčio skaičiavimo algoritmą rasti yra šiek tiek sunkiau. Įvertinimui naudokime jau anksčiau apdorotą išraišką

ir parašykite panašią sąmatos išraišką

.

Dabar pateikiame sąmatą rekursine forma. Tada iš dviejų užrašytų lygybių po kelių algebrinių transformacijų gauname

Rekursyvūs balų skaičiavimo algoritmai ir turėtų būti naudojami kartu.

6.7 pavyzdys. Raskite 6.1 pavyzdyje aptarto parametro didžiausią tikimybę. Dabar tikimybių tankis

Didžiausios tikimybės įvertis apibrėžiamas kaip lygties šaknis

ir atrodo

Nagrinėjamu atveju galima rasti ir Bajeso sąmatą

Jei darysime prielaidą, kad , , tada įvertis, suteikiantis mažiausią vidutinę kvadratinę paklaidą, sutampa su didžiausios tikimybės įvertinimu. Įdomu pastebėti, kad šiuo atveju minimalios dispersijos įvertis, kuris taip pat sutampa su Bajeso įverčiu pagal modulio sąnaudų funkciją ir su didžiausiu užpakalinės tikimybės tankio įvertinimu, taip pat su didžiausios tikimybės įvertinimu, yra nešališkas.

Labai naudinga apskaičiuoti šių dviejų įverčių klaidų vektoriaus koreliacijos matricas. Bajeso įvertinimui tokia matrica jau buvo apskaičiuota ir tai buvo parodyta

Norėdami įvertinti didžiausią tikimybę, gauname

Jei dabar naudosime reprezentaciją, tada

Klaidos vektoriaus koreliacijos matrica, kai naudojama maksimalios tikimybės įvertis, visada yra didesnė už minimalios standartinės paklaidos įverčio klaidų vektoriaus koreliacijos matricą. Šios matricos sutampa tik tuo atveju, jei .

Taip pat naudinga atsižvelgti į atvejį, kai matrica yra tapatybė, t.y. Kuriame.

Maksimalios tikimybės įvertis, Bajeso įvertis ir jų koreliacijos matricos šiuo atveju yra tokios formos

Čia negalima tikėtis, kad didžiausias tikimybės įvertinimas bus pakankamai tikslus, nes jo reikšmės tiesiog sutampa su gauto mėginio reikšmėmis.

Jei imties dydis yra daug didesnis už įvertinto parametro matmenį, tada maksimalios tikimybės įvertinimas gali būti gana geras. Pavyzdžiui, tegul , kur yra skaliarinis parametras, o vektoriai ir turi dimensiją . Taip pat manykime

ir . Čia nagrinėjami įverčiai ir jų vidutinės kvadratinės paklaidos yra nustatomos pagal ryšius

; ;

; .

Dažnai paaiškėja, kad esant pakankamai didelėms vertėms, nelygybė . Šiuo atveju abiejų įverčių vidurkio kvadratinės paklaidos bus beveik vienodos.

Panašius rezultatus galima gauti naudojant nuolatinį laiką, pavyzdžiui, 6.3. Jei stebėjimo modelis paskutiniame pavyzdyje su diskrečiu laiku yra traktuojamas kaip diskretusis šio stebimo proceso modelio analogas

; .

kur yra normalus nulinis baltasis triukšmas, tada naudojant 6.3 pavyzdžio žymėjimą galima gauti

; .

Iš to išplaukia, kad jei funkcijos forma nesikeičia, kai , tada vidutinė kvadrato vertinimo paklaida mažėja didėjant . Jei signalo energija , apibrėžta kaip , turi išlikti pastovi bet kuriai parametro reikšmei, tada vidutinės kvadratinės paklaidos reikšmė nepriklauso nei nuo signalo trukmės, nei nuo formos. Jei , tai Bajeso įverčio standartinė paklaida iš tikrųjų bus tokia pati kaip ir didžiausios tikimybės įverčio. Jei taip nėra ir atvirkštinė nelygybė yra teisinga, tai reiškia, kad triukšmas yra pakankamai intensyvus (didelis), arba yra geras a priori įvertinimas, nuo kurio galima pradėti (mažas). Įverčio su minimalia vidutine kvadratine paklaida ir šio įverčio vidutine kvadratine paklaida reikšmės mažai skiriasi nuo atitinkamų ankstesnio skirstinio parametrų ir gali būti parašytos

;

.

Taigi šiuo atveju pirminio skirstinio vidurkis laikomas geriausiu parametro įvertinimu. 6.5 pavyzdyje jau buvo pažymėta, kad esant dideliems signalo ir triukšmo santykiams, efektinės vertės įvertinimo paklaidos naudojant maksimalų a posteriori tankio įvertinimą ir įvertį su mažiausia kvadratine kvadratine paklaida yra beveik vienodi. Iš šio pavyzdžio rezultatų matyti, kad esant didelėms signalo ir triukšmo santykio reikšmėms (čia ), įverčių tikslumas yra beveik toks pat kaip ir didžiausios tikimybės įvertinimo tikslumas.

Pavyzdys 6.8. Dabar pateikiame išsamią paprastos didžiausios tikimybės įvertinimo problemos, kai yra spalvotas triukšmas, analizę. Sprendžiant šią problemą, bus iliustruoti svarstymai, kurie gali būti naudojami praktiškai pasirenkant atrankos intervalą. Tegul skaliarinio proceso realizacijas galima stebėti, kur yra pastovus skaliarinis parametras ir

Norėdami išspręsti parametrų įvertinimo problemą, elgiamės taip. Įveskime atitinkamą stebėjimo modelį diskrečiam laikui , , , kur atrankos laikotarpis parenkamas taip, kad proceso pokyčiai per tokį intervalą būtų aiškiai matomi. Šiam modeliui turime

Stebėtą procesą dabar galima parašyti vektorine forma:

.

Parametras Maksimalios tikimybės įvertinimas

kur triukšmo kovariacijos matrica turi elementus: (arba iš vektorinio komponento atrankos periodo (arba ) su tolesniu, net neribotu, imties dydžio padidinimu pasirodo nereikšminga.

Ryžiai. 6.8. Įvertinimo paklaidos dispersijos priklausomybė nuo imties dydžio (6.8. pavyzdys): 1 - algoritmas, orientuotas į baltąjį triukšmą; 2 yra algoritmas, orientuotas į spalvotą triukšmą.

Aukščiau pateikta išraiška galioja tik tuo atveju, jei vektoriaus komponentai iš tikrųjų yra nepriklausomi. Tikroji kvadratinio vidurkio įvertinimo paklaidos reikšmė, naudojant įvertį spalvoto triukšmo atveju, galima rasti iš santykio

) į baltą triukšmą orientuotas algoritmas pateikia vidutinę kvadratinės paklaidos reikšmę tik šiek tiek didesnę nei spalvoto triukšmo orientuoto algoritmo klaidos vertė. Kadangi baltojo triukšmo algoritmai yra daug paprastesni nei spalvoto triukšmo algoritmai, praktikoje galima elgtis taip, nustatyti imties dydį iki 40 ir naudoti paprastus į baltąjį triukšmą orientuotus vertinimo algoritmus, jei toks didelis atrankos dažnis yra priimtinas. Standartinė garsumo pavyzdžio paklaida naudojant spalvoto triukšmo algoritmą (kai triukšmas iš tikrųjų yra spalvotas) yra lygi standartinei garsumo pavyzdžio paklaidai, kai naudojamas baltojo triukšmo algoritmas. Šių vidutinių kvadratinių paklaidų santykis yra maždaug du.

Didžiausios tikimybės metodas (MMP) yra vienas plačiausiai naudojamų statistikos ir ekonometrijos metodų. Norint jį taikyti, reikia žinoti tiriamojo atsitiktinio dydžio pasiskirstymo dėsnį.

Tegul yra koks nors atsitiktinis kintamasis Y su duotu skirstymo dėsniu (DE). Šio įstatymo parametrai nežinomi ir juos reikia rasti. Apskritai, vertė Y laikomi daugiamačiais, t.y. susidedantis iš kelių vienmačių dydžių U1, U2, U3 ..., U.

Tarkime, Y yra vienmatis atsitiktinis dydis, o jo atskiros reikšmės yra skaičiai. Kiekvienas iš jų (U], u 2, y3, ..., y") yra laikomas ne vieno atsitiktinio dydžio Y realizacija, o η atsitiktiniai dydžiai Y1; U2, U3 ..., U“. Tai yra:

yj yra atsitiktinio dydžio Y įgyvendinimas];

y2 – atsitiktinio dydžio Y2 įgyvendinimas;

uz – atsitiktinio dydžio Y3 realizavimas;

у„ yra atsitiktinio dydžio У„ realizacija.

Vektoriaus Y, susidedančio iš atsitiktinių dydžių, skirstinio dėsnio parametrai Y b Y 2, Y3, Yn pavaizduoti kaip vektorius Θ, susidedantis iš į parametrai: θχ, θ2, in k. Kiekiai Υ ν Υ 2, U3,..., Υ η gali būti skirstomas tiek su tais pačiais parametrais, tiek su skirtingais; kai kurie parametrai gali būti vienodi, o kiti gali skirtis. Konkretus atsakymas į šį klausimą priklauso nuo problemos, kurią tyrėjas sprendžia.

Pavyzdžiui, jei užduotis yra nustatyti atsitiktinio dydžio Y pasiskirstymo dėsnio parametrus, kurių įgyvendinimas yra Y1 reikšmės; Y2, Y3, Y, „, tada daroma prielaida, kad kiekvienas iš šių dydžių pasiskirsto taip pat, kaip ir reikšmė Y. Kitaip tariant, bet koks dydis Y apibūdinamas tuo pačiu pasiskirstymo dėsniu / (Y, ), ir su tie patys parametrai Θ: θχ, θ2,..., dį.

Kitas pavyzdys yra regresijos lygties parametrų radimas. Šiuo atveju kiekvienas kintamasis Y laikomas atsitiktiniu dydžiu, turinčiu „savus“ pasiskirstymo parametrus, kurie gali iš dalies sutapti su kitų atsitiktinių dydžių pasiskirstymo parametrais arba gali visiškai skirtis. MMP taikymas regresijos lygties parametrams rasti bus išsamiau aptartas toliau.

Taikant didžiausios tikimybės metodą, turimų verčių rinkinys Y], y2, y3, ..., y„ laikomas tam tikra fiksuota, nepakitusia. Tai yra, dėsnis /(Y;) yra duotosios reikšmės y ir nežinomų parametrų Θ funkcija. Todėl už P atsitiktinio dydžio Y stebėjimai turi P dėsniai /(Y;).

Nežinomi šių pasiskirstymo dėsnių parametrai traktuojami kaip atsitiktiniai dydžiai. Tačiau jie gali keistis, atsižvelgiant į reikšmių rinkinį Ui, y2, y3, ..., y“, konkrečios parametrų reikšmės yra greičiausiai. Kitaip tariant, keliamas klausimas: kokie turėtų būti parametrai Θ, kad reikšmės yj, y2, y3, ..., y„ būtų labiausiai tikėtinos?

Norint į jį atsakyti, reikia rasti atsitiktinių dydžių bendro skirstinio Y1 dėsnį; Y2, Y3,..., Yn -KUi, U 2, Uz, U “). Jei manome, kad mūsų stebimi dydžiai y^ y2, y3, ..., yn yra nepriklausomi, tai jis lygus sandaugai Pįstatymai/

(Y;) (diskrečiųjų atsitiktinių dydžių šių verčių atsiradimo tikimybių sandauga arba nuolatinių atsitiktinių dydžių pasiskirstymo tankių sandauga):

Norėdami pabrėžti, kad norimi parametrai Θ yra laikomi kintamaisiais, į skirstymo dėsnio žymėjimą įvedame dar vieną argumentą – parametrų Θ vektorių:

Atsižvelgiant į įvestą žymėjimą, bendro skirstymo dėsnį nepriklausomas formoje bus rašomi kiekiai su parametrais

(2.51)

Gauta funkcija (2.51) vadinama didžiausios tikimybės funkcija ir pažymėkite:

Dar kartą pabrėžkime faktą, kad didžiausios tikimybės funkcijoje Y reikšmės laikomos fiksuotomis, o kintamieji yra vektoriaus parametrai (konkrečiu atveju vienas parametras). Dažnai, siekiant supaprastinti nežinomų parametrų radimo procesą, tikimybės funkcija logaritmizuojama, gaunant log-tikimybės funkcija

Tolesnis TVF sprendimas – surasti tokias Θ vertes, kuriose tikimybės funkcija (arba jos logaritmas) pasiekia maksimumą. Rastos Θ reikšmės; paskambino didžiausios tikimybės įvertinimas.

Didžiausios tikimybės įvertinimo metodai yra gana įvairūs. Paprasčiausiu atveju tikimybės funkcija yra nuolat diferencijuojama ir turi maksimumą taške, kuriam

Sudėtingesniais atvejais didžiausios tikimybės funkcijos maksimumo nepavyksta rasti diferencijuojant ir sprendžiant tikimybės lygtį, todėl jai surasti reikia ieškoti kitų algoritmų, įskaitant iteracinius.

Parametrų įverčiai, gauti naudojant MMP:

• – pasiturintis, tie. padidėjus stebėjimų apimčiai, skirtumas tarp įvertintos ir tikrosios parametro vertės artėja prie nulio;
• – nekintamas: jei gaunamas parametro Θ įvertis, lygus 0L, ir yra tolydi funkcija q(0), tai šios funkcijos reikšmės įvertis bus q(0L). Ypač jei MMP pagalba įvertintume kokio nors rodiklio sklaidos reikšmę (af), tada gauto įverčio šaknis bus standartinio nuokrypio (σ,) įvertis, gautas iš TVF.
• – asimptotiškai efektyvus ;
• – asimptotiškai normaliai pasiskirstęs.

Paskutiniai du teiginiai reiškia, kad MMP gauti parametrų įverčiai pasižymi efektyvumo ir normalumo savybėmis, kai imties dydis be galo padidėja.

Rasti formos daugkartinės tiesinės regresijos parametrus

būtina žinoti priklausomų kintamųjų pasiskirstymo dėsnius 7; arba atsitiktinės liekanos ε,. Tegul kintamasis Y t pasiskirsto pagal normalųjį dėsnį su parametrais μ, , σ, . Kiekviena stebima reikšmė y, pagal regresijos apibrėžimą, matematinė tikėtis μ, = MU„ yra lygi jos teorinei reikšmei, jei regresijos parametrų reikšmės bendrojoje populiacijoje yra žinomos.

kur xfl, ..., x ip – nepriklausomų kintamųjų reikšmės і m stebėjimas. Kai yra įvykdytos prielaidos naudoti LSM (klasikinio normalaus tiesinio modelio sudarymo prielaidos), atsitiktinių dydžių Y dispersija yra tokia pati.

Vertės sklaida nustatoma pagal formulę

Transformuokime šią formulę:

Kai tenkinamos Gauss-Markov sąlygos, atsitiktinių likučių matematinė tikėtis lygi nuliui, o jų dispersijos yra pastovios, galime pereiti nuo (2.52) formulės prie formulės

Kitaip tariant, atsitiktinio dydžio Y, - ir jį atitinkančių atsitiktinių likučių dispersijos sutampa.

Atrankinis atsitiktinio dydžio matematinio lūkesčio įvertinimas Yj pažymėsime

o jo dispersijos įvertis (pastovus skirtingiems stebėjimams) kaip Sy.

Darant prielaidą, kad atskiri stebėjimai yra nepriklausomi y tada gauname didžiausios tikimybės funkciją

(2.53)

Aukščiau pateiktoje funkcijoje daliklis yra konstanta ir neturi įtakos jo maksimumo nustatymui. Todėl, siekiant supaprastinti skaičiavimus, jo galima praleisti. Atsižvelgiant į šią pastabą ir paėmus logaritmą, funkcija (2.53) įgauna formą

Pagal MMP randame logaritminės tikimybės funkcijos išvestinius nežinomų parametrų atžvilgiu

Norėdami rasti ekstremumą, gautas išraiškas prilyginame nuliui. Po transformacijų gauname sistemą

(2.54)

Ši sistema atitinka mažiausių kvadratų sistemą. Tai yra, MSM ir LSM duoda tuos pačius rezultatus, jei yra įvykdytos LSM sąlygos. Paskutinė išraiška sistemoje (2.54) suteikia atsitiktinio dydžio 7 dispersijos įvertį arba, kas yra tas pats, atsitiktinių likučių dispersiją. Kaip minėta pirmiau (žr. (2.23) formulę), nešališkas atsitiktinių likučių dispersijos įvertis yra

Panašus įvertinimas, gautas naudojant MMP (kaip matyti iš sistemos (2.54)), apskaičiuojamas pagal formulę

tie. yra perkeltas.

Mes svarstėme MMP taikymo atvejį, kad surastume tiesinės daugkartinės regresijos parametrus, su sąlyga, kad vertė Y yra normaliai paskirstyta. Kitas būdas rasti tos pačios regresijos parametrus yra sudaryti didžiausios tikimybės funkciją atsitiktiniams likučiams ε,. Taip pat manoma, kad jie turi normalųjį pasiskirstymą su parametrais (0, σε). Nesunku patikrinti, ar sprendimo rezultatai šiuo atveju sutampa su aukščiau gautais rezultatais.