Iki šiol manėme, kad nežinomo parametro įvertis yra žinomas, ir tyrinėjome jo savybes, kad panaudotume jas konstruojant. pasitikėjimo intervalas. Šiame skyriuje aptarsime sąmatų sudarymo metodų klausimą.

Tikimybių metodai

Tegul reikia įvertinti nežinomą parametrą, paprastai tariant, vektorinį, . Daroma prielaida, kad paskirstymo funkcijos forma žinoma iki parametro,

Šiuo atveju visos akimirkos atsitiktinis kintamasis tapti funkcijomis iš:

Akimirkų metodas reikalauja šių veiksmų:

Apskaičiuokite k „teorinių“ momentų

Remdamiesi imtimi, sukonstruojame k to paties pavadinimo imties momentų. Dabartiniame kontekste tai bus momentai

Sulyginus „teorinius“ ir to paties pavadinimo imties momentus, gauname apskaičiuoto parametro komponentų lygčių sistemą.

Išspręsdami gautą sistemą (tiksliai arba apytiksliai), randame pradinius įverčius. Žinoma, jos yra imties verčių funkcijos.

Mes apibūdinome procedūrą remdamiesi pradiniais – teoriniais ir atrankiniais – punktais. Jis išsaugomas skirtingais momentų pasirinkimu, pradiniu, centriniu ar absoliučiu, kurį lemia sprendimo patogumas (25.1) ar panaši.

Pereikime prie pavyzdžių.

25.1 pavyzdys. Tegu atsitiktinis dydis pasiskirsto tolygiai intervale [ ; ] , kur yra nežinomi parametrai. Remiantis n tūrio imtimi () iš atsitiktinio dydžio skirstinio. Būtina įvertinti ir.

IN šiuo atveju pasiskirstymą lemia tankis

1) Apskaičiuokime pirmuosius du pradinius „teorinius“ momentus:

2) Iš imties apskaičiuokime pirmuosius du pradinius imties momentus

3) Sukurkime lygčių sistemą

4) Iš pirmosios lygties mes ją išreiškiame per

ir pakeiskite ją į antrąją lygtį, taip gaudami kvadratinę lygtį

kurią išspręsdami randame dvi šaknis

Atitinkamos vertės yra

Kadangi pagal problemos prasmę sąlyga turi būti įvykdyta< , выбираем в качестве решения системы и оценок nežinomi parametrai

Pastebėjus, kad nėra nieko daugiau nei imties dispersija, pagaliau gauname

Jei pasirinktume kaip „teorinius“ taškus matematinis lūkestis ir dispersija, tada gautume sistemą (atsižvelgiant į nelygybę<)

kuris yra tiesinis ir lengviau išsprendžiamas nei ankstesnis. Atsakymas, žinoma, sutampa su tuo, kas jau buvo gauta.

Galiausiai pažymime, kad mūsų sistemos visada turi sprendimą, ir tuo pačiu unikalų. Gauti įverčiai, žinoma, yra nuoseklūs, tačiau jie neturi nešališkumo savybių.

Didžiausios tikimybės metodas

Tiriame, kaip ir anksčiau, atsitiktinį dydį, kurio pasiskirstymas nurodomas arba jo reikšmių tikimybėmis, jei yra diskretiškas, arba pasiskirstymo tankiu, jei tolydis, kur yra nežinomas vektorinis parametras. Tegul () yra reikšmių pavyzdys. Natūralu, kad įvertinimas yra parametro reikšmė, kuriai esant didžiausia tikimybė gauti esamą pavyzdį.

Išraiška

paskambino tikimybės funkcija, jis parodo atsitiktinio vektoriaus jungtinį pasiskirstymą arba jungties tankį su n nepriklausomų koordinačių, kurių kiekviena turi tokį patį pasiskirstymą (tankį) kaip.

Kaip nežinomo parametro įvertinimą, imame jo reikšmę, kuri suteikia didžiausią funkcijos, laikomą fiksuotų verčių funkcija. Vertinimas vadinamas didžiausios tikimybės įvertinimas. Atminkite, kad tai priklauso nuo imties dydžio n ir imties verčių

ir todėl pats yra atsitiktinis kintamasis.

Funkcijos maksimalaus taško radimas yra atskira užduotis, kurią lengviau atlikti, jei funkcija yra diferencijuojama pagal parametrą.

Šiuo atveju vietoj funkcijos patogu atsižvelgti į jos logaritmą, nes funkcijos ir jos logaritmo ekstremalieji taškai sutampa.

Diferencialinio skaičiavimo metodai leidžia rasti taškus, kurie kelia įtarimą dėl ekstremumo, o tada sužinoti, kuriuose iš jų pasiekiamas maksimumas.

Šiuo tikslu pirmiausia nagrinėjame lygčių sistemą

kurių sprendiniai yra taškai, įtartini ekstremumui. Tada, naudojant gerai žinomą metodą, apskaičiuojant antrųjų išvestinių vertes

Naudodami determinanto ženklą, sudarytą iš šių reikšmių, randame maksimalų tašką.

Įverčiai, gauti naudojant didžiausios tikimybės metodą, yra nuoseklūs, nors gali būti ir šališki.

Pažiūrėkime į pavyzdžius.

25.2 pavyzdys. Tegul atliekamas koks nors atsitiktinis eksperimentas, kurio baigtis gali būti koks nors įvykis A, kurio tikimybė P(A) nežinoma ir turi būti įvertinta.

Įveskime atsitiktinį kintamąjį lygybe

jei įvyko įvykis A,

jei įvykis A neįvyko (įvyko įvykis).

Atsitiktinio dydžio skirstinys pateikiamas lygybe

Pavyzdys šiuo atveju bus baigtinė seka (), kur kiekvienas iš jų gali būti lygus 0 arba 1.

Tikimybės funkcija turės formą

Raskime jo maksimumo tašką p, kuriam apskaičiuojame logaritmo išvestinę

Pažymime, kad šis skaičius yra lygus pasirinktos sekos „sėkmių“ vienetų skaičiui.

Ir kiti).

Didžiausios tikimybės įvertinimas yra populiarus statistinis metodas, naudojamas kuriant statistinį modelį iš duomenų ir pateikiant modelio parametrų įverčius.

Atitinka daugelį statistikos srityje žinomų vertinimo metodų. Pavyzdžiui, tarkime, kad jus domina Ukrainos žmonių augimas. Tarkime, kad turite kelių žmonių, o ne visos populiacijos ūgio duomenis. Be to, manoma, kad aukštis yra normaliai pasiskirstęs kintamasis, kurio dispersija ir vidurkis nežinomas. Labiausiai tikėtina, kad imties augimo vidurkis ir dispersija bus visos populiacijos vidurkis ir dispersija.

Atsižvelgdami į fiksuotą duomenų rinkinį ir pagrindinį tikimybių modelį, naudodami didžiausios tikimybės metodą, gausime modelio parametrų reikšmes, kurios padaro duomenis „arčiau“ realaus pasaulio. Didžiausios tikimybės įvertinimas yra unikalus ir paprastas būdas nustatyti sprendimus normaliojo skirstinio atveju.

Didžiausios tikimybės įvertinimas naudojamas įvairiems statistiniams modeliams, įskaitant:

• tiesiniai modeliai ir apibendrinti tiesiniai modeliai;
• faktorių analizė;
• struktūrinių lygčių modeliavimas;
• daug situacijų hipotezių tikrinimo ir pasikliautinojo intervalo formavimo rėmuose;
• diskretiško pasirinkimo modeliai.

Metodo esmė

paskambino didžiausios tikimybės įvertinimas parametras Taigi, didžiausios tikimybės įvertis yra įvertis, kuris maksimaliai padidina tikimybės funkciją, atsižvelgiant į fiksuotą imties realizavimą.

Dažnai vietoj tikimybės funkcijos naudojama log-likelihood funkcija. Kadangi funkcija monotoniškai didėja visoje apibrėžimo srityje, bet kurios funkcijos maksimumas yra funkcijos maksimumas ir atvirkščiai. Taigi

Jei tikimybės funkcija yra diferencijuota, būtina ekstremumo sąlyga yra ta, kad jo gradientas būtų lygus nuliui:

Pakankama ekstremumo sąlyga gali būti suformuluota kaip neigiamas Heseno – antrųjų darinių matricos – apibrėžtumas:

Vadinamoji informacinė matrica, kuri pagal apibrėžimą yra lygi:

Optimaliame taške informacijos matrica sutampa su matematiniais Heseno lūkesčiais, paimtais su minuso ženklu:

Savybės

• Didžiausios tikimybės įverčiai, paprastai kalbant, gali būti šališki (žr. pavyzdžius), tačiau yra nuoseklūs. asimptotiškai efektyvus ir asimptotiškai normalus sąmatos. Asimptotinis normalumas reiškia

kur yra asimptotinė informacijos matrica

Asimptotinis efektyvumas reiškia, kad asimptotinė kovariacijos matrica yra apatinė visų nuoseklių asimptotiškai normalių įverčių riba.

Pavyzdžiai

Paskutinę lygybę galima perrašyti taip:

kur , iš kurio matyti, kad tikimybės funkcija pasiekia maksimumą taške . Taigi

Norėdami rasti jo maksimumą, dalines išvestis prilyginsime nuliui:

Sąlyginės didžiausios tikimybės metodas

Sąlyginė didžiausia tikimybė (sąlyginė ML) naudojami regresijos modeliuose. Metodo esmė ta, kad naudojamas ne visas bendras visų kintamųjų (priklausomų ir regresorių) pasiskirstymas, o tik sąlyginis priklausomo kintamojo pasiskirstymas tarp faktorių, tai yra iš tikrųjų atsitiktinių klaidų pasiskirstymas regresijos modelyje. Bendrosios tikimybės funkcija yra „sąlyginės tikimybės funkcijos“ ir faktoriaus pasiskirstymo tankio sandauga. Sąlyginis MMP yra lygiavertis pilnai MMP versijai tuo atveju, kai veiksnių pasiskirstymas niekaip nepriklauso nuo įvertintų parametrų. Ši sąlyga dažnai pažeidžiama laiko eilučių modeliuose, pvz., autoregresiniame modelyje. Šiuo atveju regresoriai yra priklausomo kintamojo praeities reikšmės, o tai reiškia, kad jų reikšmės taip pat paklūsta tam pačiam AR modeliui, tai yra, regresorių pasiskirstymas priklauso nuo įvertintų parametrų. Tokiais atvejais taikant sąlyginės ir visos didžiausios tikimybės metodus rezultatai skirsis.

Taip pat žr

Pastabos

Literatūra

• Magnusas Y.R., Katyshevas P.K., Peresetskis A.A. Ekonometrija. Pradedantysis kursas. - M.: Delo, 2007. - 504 p. - ISBN 978-5-7749-0473-0

Wikimedia fondas.

2010 m.

Pažiūrėkite, kas yra „didžiausios tikimybės metodas“ kituose žodynuose: didžiausios tikimybės metodas

- - didžiausios tikimybės metodas Matematinėje statistikoje pasiskirstymo parametrų įvertinimo metodas, pagrįstas vadinamosios tikimybės funkcijos padidinimu... ... Nežinomų pasiskirstymo funkcijos F(s; α1,..., αs) parametrų įvertinimo iš imties metodas, kur α1, ..., αs yra nežinomi parametrai. Jei n stebėjimų imtis yra padalinta į r disjunktines grupes s1,…, sr; р1,..., pr… …

Didžiausios tikimybės metodas- matematinėje statistikoje pasiskirstymo parametrų įvertinimo metodas, pagrįstas vadinamosios tikimybės funkcijos (bendras stebėjimų tikimybės tankis su reikšmėmis, sudarančiomis ... ... Ekonomikos ir matematikos žodynas

Pažiūrėkite, kas yra „didžiausios tikimybės metodas“ kituose žodynuose:- maksimaliojo tikėtinumo metodo statusas T sritis automatika atitikmenys: engl. didžiausios tikimybės metodas vok. Methode der maksimalen Mutmaßlichkeit, f rus. didžiausios tikimybės metodas, m pranc. méthode de maximum de vraisemblance, f;… … Automatikos terminų žodynas

didžiausios tikimybės dalinio atsako metodas- Viterbi signalo aptikimo metodas, užtikrinantis minimalų tarpsimbolių iškraipymo lygį. Taip pat žr. Viterbi algoritmas. [L.M. Nevdiajevas. Telekomunikacijų technologijos. Anglų-rusų aiškinamojo žodyno žinynas. Redagavo Yu.M... Techninis vertėjo vadovas

sekos detektorius naudojant didžiausios tikimybės metodą- Įtaisas, skirtas apskaičiuoti labiausiai tikėtiną simbolių seką, kuri padidina gauto signalo tikimybės funkciją. [L.M. Nevdiajevas. Telekomunikacijų technologijos. Anglų-rusų aiškinamojo žodyno žinynas. Redagavo Yu.M... Techninis vertėjo vadovas

didžiausios tikimybės metodas- didžiausios tikimybės metodas - [L.G. Sumenko. Anglų-rusų informacinių technologijų žodynas. M.: Valstybės įmonė TsNIIS, 2003.] Temos informacinės technologijos apskritai Sinonimai maksimalios tikimybės metodas EN maksimalios tikimybės metodas ... Techninis vertėjo vadovas

didžiausios tikimybės metodas- Bendrasis parametrų įverčių skaičiavimo metodas. Siekiami įverčiai, kurie maksimaliai padidintų imties tikimybės funkciją, lygią kiekvienos stebimos duomenų reikšmės pasiskirstymo funkcijos verčių sandaugai. Didžiausios tikimybės metodas yra geresnis... Sociologinės statistikos žodynas

Taškinio parametro vertinimo problemos esmė

PASKIRSTYMO PARAMETRŲ TAŠKAS ĮVERTINIMAS

Taško įvertinimas apima vienos skaitinės vertės radimą, kuri laikoma parametro reikšme. Tokį įvertinimą patartina nustatyti tais atvejais, kai ED tūris yra pakankamai didelis. Be to, nėra vienos pakankamo ED tūrio sąvokos, jo vertė priklauso nuo vertinamo parametro tipo (prie šio klausimo grįšime tirdami intervalų parametrų įvertinimo metodus, bet pirmiausia apsvarstysime imtį, kurioje yra bent 10; vertės pakankamos). Kai ED tūris yra mažas, taškiniai įverčiai gali labai skirtis nuo tikrųjų parametrų verčių, todėl jie netinkami naudoti.

Taško parametrų įvertinimo problema įprastoje aplinkoje yra taip.

Galima: stebėjimų pavyzdys ( x 1 , x 2 , …, x n) už atsitiktinio dydžio X. Mėginio dydis n pataisyta

Kiekybinio paskirstymo dėsnio forma yra žinoma X, pavyzdžiui, pasiskirstymo tankio forma f(Θ , x), Kur Θ – nežinomas (bendrai vektorinis) skirstinio parametras. Parametras yra neatsitiktinė reikšmė.

Reikia rasti sąmatą Θ* parametras Θ paskirstymo įstatymas.

Apribojimai: pavyzdys yra reprezentatyvus.

Egzistuoja keli taškinių parametrų vertinimo problemos sprendimo būdai, iš kurių dažniausiai naudojami maksimalios tikimybės, momentų ir kvantilių metodai.

Metodą pasiūlė R. Fisheris 1912 m. Metodas pagrįstas stebėjimų imties gavimo tikimybės tyrimu. (x 1 , x 2, …, x n). Ši tikimybė yra lygi

f(x 1, Θ) f(x 2, Θ) … f(x n, Θ) dx 1 dx 2 … dx n.

Sąnario tikimybės tankis

L(x 1, x 2 ..., x n; Θ) = f(x 1, Θ) f(x 2, Θ) ... f(x n, Θ),(2.7)

laikoma parametro funkcija Θ , paskambino tikimybės funkcija .

Kaip įvertinimas Θ* parametras Θ reikėtų paimti reikšmę, kuri padidina tikimybės funkciją. Norint rasti įvertinimą, reikia pakeisti tikimybės funkcijoje Tįjungta q ir išspręskite lygtį

dl/dΘ* = 0.

Norėdami supaprastinti skaičiavimus, nuo tikimybės funkcijos pereiname prie jos logaritmo ln L. Ši transformacija yra priimtina, nes tikimybės funkcija yra teigiama funkcija ir pasiekia maksimumą tame pačiame taške kaip ir jos logaritmas. Jei skirstinio parametras yra vektorinis dydis

Θ* =(q 1, q 2, …, q n),

tada iš lygčių sistemos randami didžiausios tikimybės įverčiai

d ln L(q 1, q 2, …, q n) /d q 1 = 0;

d ln L(q 1, q 2, …, q n) /d q 2 = 0;

. . . . . . . . .

d ln L(q 1, q 2, …, q n) /d q n = 0.

Norint patikrinti, ar optimalus taškas atitinka tikimybės funkcijos maksimumą, reikia rasti antrąją šios funkcijos išvestinę. Ir jei antroji išvestinė optimaliame taške yra neigiama, tada rastos parametrų reikšmės maksimaliai padidina funkciją.

Taigi, ieškant maksimalios tikimybės įverčių, reikia atlikti šiuos veiksmus: tikimybės funkcijos (jos natūraliojo logaritmo) sukūrimas; funkcijos diferencijavimas pagal reikiamus parametrus ir lygčių sistemos sudarymas; lygčių sistemos sprendimas įverčiams rasti; funkcijos antrosios išvestinės nustatymas, jos ženklo patikrinimas optimaliame pirmosios išvestinės taške ir išvadų darymas.

Sprendimas. Tikimybės funkcija ED tūrio mėginiui n

Žurnalo tikimybės funkcija

Lygčių sistema parametrų įverčiams rasti

Iš pirmosios lygties išplaukia:

arba pagaliau

Taigi aritmetinis vidurkis yra didžiausias matematinio lūkesčio tikimybės įvertinimas.

Iš antrosios lygties galime rasti

.

Empirinė dispersija yra šališka. Pašalinus ofsetą

Faktinės parametrų įverčių vertės: m =27,51, s 2 = 0,91.

Norėdami patikrinti, ar gauti įverčiai maksimaliai padidina tikimybės funkcijos reikšmę, imame antrąsias išvestines

Funkcijos ln() antrosios išvestinės L(m,S)) nepriklausomai nuo parametrų reikšmės yra mažesnės už nulį, todėl rastos parametrų reikšmės yra didžiausios tikimybės įverčiai.

Maksimalios tikimybės metodas leidžia gauti nuoseklius, efektyvius (jei jie yra, tai gautas sprendimas duos efektyvius įverčius), pakankamus, asimptotiškai normaliai paskirstytus įverčius. Šis metodas gali sudaryti ir šališkus, ir nešališkus įvertinimus. Šališkumas gali būti pašalintas įvedant pataisymus. Šis metodas ypač naudingas mažiems mėginiams.

Pasiskirstymo parametrų įvertinimo užduotis – remiantis imties duomenimis gauti patikimiausius nežinomų populiacijos pasiskirstymo parametrų įverčius. Be momentų metodo, paskirstymo parametrų taškiniam įvertinimui nustatyti taip pat naudojame didžiausios tikimybės metodas. Maksimalios tikimybės metodą pasiūlė anglų statistikas R. Fisheris 1912 m.

Leiskite įvertinti atsitiktinio dydžio X nežinomą parametrą  iš bendrosios populiacijos su tikimybių pasiskirstymo tankiu p(x)= p(x, ) paimtas mėginys x 1 ,x 2 ,…,x n. Pavyzdinius rezultatus laikysime įgyvendinimu n-dimensinis atsitiktinis kintamasis ( X 1 ,X 2 ,…,X n). Anksčiau aptartas teorinio skirstinio nežinomų parametrų taškinių įverčių gavimo momentų metodas ne visada suteikia geriausius įverčius. Įverčių, turinčių reikiamas (geriausias) savybes, paieškos metodas yra metodas didžiausia tikimybė.

Didžiausios tikimybės metodas yra pagrįstas tam tikros funkcijos ekstremumo nustatymo sąlyga, vadinama tikimybės funkcija.

Tikimybės funkcija DSV X

L (x 1 ,x 2 ,…,x n ; )=p(x 1 ; )p(x 2 ; )…p(x n ; ),

Kur x 1, …, x n– fiksuotos atrankos galimybės,  – nežinomas apskaičiuotas parametras, p(x i; ) – įvykio tikimybė X= x i .

Tikimybės funkcija NSV X vadinama argumentų funkcija :

L (x 1 ,x 2 ,…,x n ; )=f(x 1 ; )f(x 2 ; )…f(x n ; ),

Kur f(x i; ) – duotoji tikimybės tankio funkcija taškuose x i .

Kaip taškinį pasiskirstymo parametrų įvertį  paimkite jos vertę, kuriai esant tikimybės funkcija pasiekia maksimumą. Įvertinimas
paskambino didžiausios tikimybės įvertinimas. Nes funkcijas L Ir
L pasiekia savo maksimumą esant toms pačioms  reikšmėms, tada paprastai suraskite naudojamą ekstremumą (maksimumą)
L kaip patogesnė funkcija.

Norėdami nustatyti maksimalų tašką
L Norėdami apskaičiuoti funkcijos ekstremumą, turite naudoti gerai žinomą algoritmą:

Tuo atveju, kai tikimybės tankis priklauso nuo dviejų nežinomų parametrų -  1 ir  2, tada kritiniai taškai randami sprendžiant lygčių sistemą:

Taigi, pagal didžiausios tikimybės metodą, kaip nežinomo parametro  įvertį imama reikšmė *, kuriai esant
atrankos paskirstymai x 1 ,x 2 ,…,x n maksimalus.

8 užduotis. Raskime įvertinimą naudodami didžiausios tikimybės metodą dėl tikimybės p pagal Bernulio schemą,

Vykdykime n nepriklausomus pakartotinius bandymus ir išmatuoti sėkmingų rezultatų skaičių, kurį mes žymime m. Pagal Bernulio formulę tikimybė, kad bus m sėkmės nuo n–– yra DSV tikimybės funkcija.

Sprendimas : Sukurkime tikimybės funkciją
.

Pagal didžiausios tikimybės metodą randame tokią reikšmę p, kuris maksimaliai padidina L, ir su juo ln L.

Tada imamas logaritmas L, mes turime:

Funkcijos ln išvestinė L Autorius p atrodo kaip
o ekstremumo taške jis lygus nuliui. Todėl sprendžiant lygtį
, turime
.

Patikrinkime antrosios išvestinės ženklą
gautame taške:

. Nes
bet kurioms argumento reikšmėms, tada rasta vertė p yra maksimalus taškas.

Reiškia, – geriausias įvertinimas
.

Taigi, pagal didžiausios tikimybės metodą, tikimybės įvertis p įvykius A Bernoulli schemoje naudojamas santykinis šio įvykio dažnis .

Jei mėginys x 1 , x 2 ,…, x n yra išgaunamas iš normaliai paskirstytos populiacijos, tada matematinių lūkesčių ir dispersijos įverčiai didžiausios tikimybės metodu yra tokios formos:

Rastos reikšmės sutampa su šių parametrų įverčiais, gautais momentų metodu.
Nes Kadangi dispersija yra pasislinkusi, ją reikia padauginti iš Besselio korekcijos. Tada ji atrodys kaip

, sutampa su imties dispersija. 9 Užduotis
. Tegu pateikiamas Puasono skirstinys m= x i kur
mes turime  .

Sprendimas :

. Raskime nežinomo parametro įvertinimą naudodami didžiausios tikimybės metodą L Konstruodami tikimybės funkciją L ir jo logaritmas ln

. Turime: Raskime išvestinę iš L:
ln
ir išspręskite lygtį  . Gautas skirstinio parametro įvertinimas
bus tokia forma:
Tada
nes adresu
antra dalinė išvestinė

tada tai yra maksimalus taškas. Taigi imties vidurkį galima imti kaip didžiausios parametro  tikimybės Puasono skirstiniui įvertį.
Galima patikrinti, ar eksponentinis skirstinys x 1 , x 2 , …, x n imties verčių tikimybės funkcija

.

turi formą:
.

Pasiskirstymo parametro  įvertis eksponentiniam skirstiniui yra lygus:

Didžiausios tikimybės metodo pranašumas yra galimybė gauti „gerus“ įverčius, turinčius tokias savybes kaip nuoseklumas, asimptotinis normalumas ir efektyvumas dideliems mėginiams pačiomis bendriausiomis sąlygomis.