Selain metode momen yang telah dijelaskan pada paragraf sebelumnya, terdapat metode lain untuk memperkirakan parameter distribusi titik yang tidak diketahui. Ini termasuk metode kemungkinan maksimum yang diusulkan oleh R. Fisher.
A. Variabel acak diskrit. Membiarkan X - variabel acak diskrit, yang sebagai hasilnya N tes mengambil nilai X 1 ,X 2 , ...,X N . Mari kita asumsikan bentuk hukum distribusi kuantitas X ditentukan, tetapi parameternya tidak diketahui θ , yang menentukan undang-undang ini. Kita perlu menemukan perkiraan titiknya.
Mari kita nyatakan probabilitas bahwa, sebagai hasil pengujian, nilainya X akan mengambil nilainya X Saya (Saya= 1 , 2, . . . , N), melalui P(X Saya ; θ ).
Fungsi kemungkinan dari variabel acak diskritperingkatX memanggil fungsi argumen θ :
L (X 1 , X 2 , ..., X N ; θ ) = P (X 1 ; θ ) R(X 2 ; θ ) . . . P (X N ; θ ),
Di mana X 1 ,X 2 , ...,X N - nomor tetap.
Sebagai estimasi titik parameter θ mengambil makna ini θ * = θ * (X 1 , X 2 , ..., X N), saat fungsi kemungkinan mencapai maksimum. Evaluasi θ * panggilan perkiraan kemungkinan maksimum.
Fungsi L dan ln L mencapai maksimum pada nilai yang sama θ , jadi alih-alih mencari fungsi maksimumnya L cari (mana yang lebih nyaman) fungsi maksimal ln L.
Fungsi kemungkinan log panggil fungsi ln L. Seperti diketahui, titik maksimum dari fungsi ln L argumen θ Anda dapat mencari, misalnya seperti ini:
3) mencari turunan kedua; jika turunan kedua di θ = θ * kalau begitu, negatif θ * - poin maksimum.
Titik maksimum yang ditemukan θ * diambil sebagai estimasi kemungkinan maksimum parameter θ .
Metode kemungkinan maksimum memiliki sejumlah keunggulan: perkiraan kemungkinan maksimum, secara umum, konsisten (tetapi dapat menjadi bias), terdistribusi normal secara asimtotik (untuk nilai yang besar N mendekati normal) dan mempunyai varian terkecil dibandingkan estimasi normal asimtotik lainnya; jika untuk parameter estimasi θ ada penilaian yang efektif θ *, maka persamaan kemungkinan mempunyai solusi unik θ *; Metode ini memanfaatkan data sampel secara paling lengkap tentang parameter yang diestimasi, sehingga sangat berguna dalam kasus sampel kecil.
Kerugian dari metode ini adalah seringkali memerlukan perhitungan yang rumit.
Catatan 1. Fungsi kemungkinan - fungsi argumen θ ; perkiraan kemungkinan maksimum - fungsi argumen independen X 1 ,X 2 , ...,X N .
Catatan 2. Estimasi kemungkinan maksimum tidak selalu sesuai dengan estimasi yang diperoleh dengan metode momen.
Contoh 1.λ Distribusi racun
Di mana M- jumlah tes yang dilakukan; X Saya - jumlah kemunculan peristiwa di Saya-M ( Saya=1, 2, ..., N) pengalaman (pengalaman terdiri dari T tes).
Larutan. Mari kita buat fungsi kemungkinan, dengan mempertimbangkan hal itu. θ= λ :
L = P (X 1 ; λ :) P (X 2 ; λ :) . . .P (X N ; λ :),=
.
Mari kita tulis persamaan kemungkinannya, yang turunannya pertama kita samakan dengan nol:
Mari kita temukan titik kritisnya, yang untuknya kita menyelesaikan persamaan yang dihasilkan λ:
Mari kita cari turunan kedua terhadap λ:
Sangat mudah untuk melihat bahwa untuk λ = turunan keduanya negatif; oleh karena itu, λ = adalah titik maksimum dan, oleh karena itu, sebagai perkiraan kemungkinan maksimum parameter λ dari distribusi Poisson, kita harus mengambil rata-rata sampel λ* =.
Contoh 2. Temukan estimasi parameter menggunakan metode kemungkinan maksimum P distribusi binomial
jika di N 1 acara yang diuji independen A muncul X 1 = M 1 kali dan N 2 acara pengujian independen A muncul X 2 = t 2 sekali.
Larutan. Mari kita buat fungsi kemungkinan, dengan mempertimbangkan hal itu θ = P:
Mari kita cari fungsi log-likelihood:
Mari kita cari turunan pertama terhadap R:
.
.
Mari kita temukan titik kritisnya, yang untuknya kita menyelesaikan persamaan yang dihasilkan P:
Mari kita cari turunan keduanya terhadap P:
.
Sangat mudah untuk memverifikasi kapan turunan keduanya negatif; karena itu, - titik maksimum dan, oleh karena itu, harus dianggap sebagai perkiraan kemungkinan maksimum dari probabilitas yang tidak diketahui P distribusi binomial:
B. Variabel acak kontinu. Membiarkan X - variabel acak kontinu, yang sebagai hasilnya N tes mengambil nilai X 1 ,X 2 , ..., X N . Mari kita asumsikan jenis kepadatan distribusi F(X) ditentukan, tetapi parameternya tidak diketahui θ , yang mendefinisikan fungsi ini.
Fungsi kemungkinan dari variabel acak kontinuperingkatX memanggil fungsi argumen θ :
L (X 1 ,X 2 , ...,X N ; θ ) = F (X 1 ; θ ) F (X 2 ; θ ) . . . F (X N ; θ ),
Di mana X 1 ,X 2 , ..., X N - nomor tetap.
Perkiraan kemungkinan maksimum dari parameter distribusi yang tidak diketahui dari variabel acak kontinu dicari dengan cara yang sama seperti dalam kasus variabel diskrit.
Contoh 3. Temukan dengan metode kemungkinan maksimum estimasi parameter λ, distribusi eksponensial
(0< X< ∞),
jika sebagai hasilnya N uji variabel acak X, didistribusikan menurut hukum eksponensial, mengambil nilainya X 1 ,X 2 , ...,X N .
Larutan. Mari kita buat fungsi kemungkinan, dengan mempertimbangkan hal itu θ= λ:
L= F (X 1 ; λ ) F (X 2 ; λ ) . . . F (X N ; λ ) =.
Mari kita cari fungsi log-likelihood:
Mari kita cari turunan pertama terhadap λ:
Mari kita tulis persamaan kemungkinannya, yang turunannya pertama kita samakan dengan nol:
Mari kita cari titik kritisnya, untuk itu kita menyelesaikan persamaan yang dihasilkan untuk λ:
Mari kita cari turunan kedua terhadap λ :
Sangat mudah untuk melihat bahwa untuk λ = 1/ turunan keduanya negatif; oleh karena itu, λ = 1/ adalah titik maksimum dan, oleh karena itu, sebagai perkiraan kemungkinan maksimum parameter λ dari distribusi eksponensial, kita harus mengambil kebalikan dari rata-rata sampel: λ *= 1/.
Komentar. Jika kepadatan distribusi F(X) variabel acak kontinu X ditentukan oleh dua parameter yang tidak diketahui θ 1 dan θ 2, maka fungsi kemungkinan adalah fungsi dari dua argumen independen θ 1 dan θ 2:
L= F (X 1 ; θ 1 , θ 2) F (X 2 ; θ 1 , θ 2) . . . F (X N ; θ 1 , θ 2),
Di mana X 1 ,X 2 , ...,X N - nilai yang diamati X. Selanjutnya, temukan fungsi kemungkinan logaritmik dan, untuk menemukan maksimumnya, buat dan selesaikan sistemnya
Contoh 4. Temukan estimasi parameter menggunakan metode kemungkinan maksimum A Dan σ distribusi normal
jika sebagai hasilnya N nilai tes X mengambil nilai X 1 ,X 2 , ...,X N .
Larutan. Mari kita buat fungsi kemungkinan, dengan mempertimbangkan hal itu θ 1 =A Dan θ 2 =σ
.
Mari kita cari fungsi log-likelihood:
.
Mari kita cari turunan parsial terhadap A dan menurut σ:
Dengan menyamakan turunan parsial dengan nol dan menyelesaikan sistem dua persamaan yang dihasilkan A dan σ 2, kita peroleh:
Jadi, perkiraan kemungkinan maksimum yang diperlukan adalah: A* = ;σ*= . Perhatikan bahwa perkiraan pertama tidak bias, dan perkiraan kedua bias.
Metode kemungkinan maksimum (MMP) adalah salah satu metode yang paling banyak digunakan dalam statistik dan ekonometrik. Untuk menerapkannya perlu diketahui hukum distribusi variabel acak yang diteliti.
Misalkan ada suatu variabel acak Y dengan hukum distribusi tertentu DE). Parameter hukum ini tidak diketahui dan perlu ditemukan. Secara umum, nilainya Y dianggap multidimensi, yaitu terdiri dari beberapa besaran satu dimensi U1, U2, U3..., U.
Mari kita asumsikan bahwa Y adalah variabel acak satu dimensi dan nilai individualnya adalah angka. Masing-masing dari mereka (U],y 2, y3, ..., y„) dianggap sebagai realisasi bukan hanya satu variabel acak Y, tetapi η variabel acak U1; U2, U3..., U„. Yaitu:
уj – realisasi variabel acak Y];
y2 – realisasi variabel acak U2;
uz – realisasi variabel acak U3;
у„ – realisasi variabel acak У„.
Parameter hukum distribusi vektor Y, terdiri dari variabel acak Y B Y 2, У3, У„, direpresentasikan sebagai vektor Θ, terdiri dari Ke parameter: θχ, θ2, V j.Jumlah Υ ν Υ 2, U3,..., Υ η dapat didistribusikan baik dengan parameter yang sama maupun dengan parameter yang berbeda; Beberapa parameter mungkin sama, sementara parameter lainnya mungkin berbeda. Jawaban spesifik atas pertanyaan ini bergantung pada masalah yang dipecahkan peneliti.
Misalnya, jika tugasnya adalah menentukan parameter hukum distribusi variabel acak Y, yang implementasinya adalah nilai Y1; Y2, Y3, Y,„ maka diasumsikan bahwa masing-masing besaran tersebut terdistribusi dengan cara yang sama seperti nilai Y. Dengan kata lain, setiap nilai Y dijelaskan oleh hukum distribusi yang sama /(Y, ), dan dengan parameter yang sama Θ: θχ, θ2,..., D Ke.
Contoh lainnya adalah mencari parameter persamaan regresi. Dalam hal ini, setiap nilai Y dianggap sebagai variabel acak yang memiliki parameter distribusi “sendiri”, yang sebagian mungkin bertepatan dengan parameter distribusi variabel acak lainnya, atau mungkin berbeda sama sekali. Penggunaan MMP untuk mencari parameter persamaan regresi akan dibahas lebih detail di bawah ini.
Dalam kerangka metode kemungkinan maksimum, himpunan nilai yang tersedia Y], y2, y3, ..., y„ dianggap sebagai nilai yang tetap dan tidak dapat diubah. Artinya, hukum /(Y;) adalah fungsi dari nilai tertentu y dan parameter Θ yang tidak diketahui. Oleh karena itu, untuk N pengamatan variabel acak Y tersedia N hukum /(U;).
Parameter yang tidak diketahui dari hukum distribusi ini dianggap sebagai variabel acak. Mereka dapat berubah, tetapi mengingat sekumpulan nilai Уі, у2, у3, ..., у„ kemungkinan besar nilai spesifik dari parameter tersebut. Dengan kata lain, pertanyaannya diajukan sebagai berikut: parameter apa yang harus dimiliki agar nilai yj, y2, y3, ..., y„ paling mungkin?
Untuk menjawabnya, Anda perlu mencari hukum distribusi gabungan variabel acak Y1; U2, U3,..., Atas –KUi, U 2, us, kamu„). Jika kita berasumsi bahwa besaran-besaran yang kita amati y^ y2, y3, ..., y„ saling bebas, maka besaran tersebut sama dengan hasil kali N hukum/
(Y;) (produk probabilitas kemunculan nilai tertentu untuk variabel acak diskrit atau produk kepadatan distribusi untuk variabel acak kontinu):
Untuk menekankan fakta bahwa parameter yang diinginkan Θ dianggap sebagai variabel, kami memperkenalkan argumen lain ke dalam penunjukan hukum distribusi - vektor parameter Θ:
Dengan memperhatikan notasi yang diperkenalkan, hukum distribusi bersama mandiri besaran dengan parameter akan ditulis dalam formulir
(2.51)
Fungsi yang dihasilkan (2.51) disebut fungsi kemungkinan maksimum dan menunjukkan:
Mari kita tekankan sekali lagi fakta bahwa dalam fungsi kemungkinan maksimum, nilai Y dianggap tetap, dan variabelnya adalah parameter vektor (dalam kasus tertentu, satu parameter). Seringkali, untuk menyederhanakan proses menemukan parameter yang tidak diketahui, fungsi kemungkinan diperoleh secara logaritmik fungsi log-kemungkinan
Penyelesaian lebih lanjut dari MMP melibatkan pencarian nilai Θ di mana fungsi kemungkinan (atau logaritmanya) mencapai maksimum. Nilai yang ditemukan dari Θ; ditelepon estimasi kemungkinan maksimum.
Metode untuk mencari estimasi kemungkinan maksimum cukup bervariasi. Dalam kasus yang paling sederhana, fungsi kemungkinan dapat terdiferensiasi secara kontinyu dan mempunyai titik maksimum pada titik tersebut
Dalam kasus yang lebih kompleks, fungsi kemungkinan maksimum maksimum tidak dapat ditemukan dengan membedakan dan menyelesaikan persamaan kemungkinan, sehingga memerlukan pencarian algoritma lain untuk menemukannya, termasuk algoritma iteratif.
Estimasi parameter yang diperoleh dengan menggunakan MMP adalah:
- – kaya, itu. dengan peningkatan volume pengamatan, selisih antara perkiraan dan nilai sebenarnya dari parameter mendekati nol;
- – invarian: jika pendugaan parameter Θ diperoleh sama dengan 0L, dan terdapat fungsi kontinu q(0), maka pendugaan nilai fungsi tersebut adalah nilai q(0L). Khususnya, jika menggunakan MMP, kami memperkirakan sebaran indikator apa pun (af), maka akar dari estimasi yang dihasilkan adalah estimasi simpangan baku (σ,) yang diperoleh dari MMP.
- – efisien secara asimtotik ;
- – berdistribusi normal secara asimtotik.
Dua pernyataan terakhir berarti bahwa estimasi parameter yang diperoleh dari MMP menunjukkan sifat efisiensi dan normalitas dengan peningkatan ukuran sampel yang sangat besar.
Untuk mencari parameter regresi linier berganda yang berbentuk
perlu diketahui hukum distribusi variabel terikat 7; atau residu acak ε,. Biarkan variabelnya Y t terdistribusi menurut hukum normal dengan parameter μ, , σ, . Setiap nilai y yang diamati, sesuai dengan definisi regresi, memiliki ekspektasi matematis μ, = MU„ sama dengan nilai teoritisnya, asalkan nilai parameter regresi dalam populasi diketahui
di mana xfl, ..., X ip – nilai variabel independen di і -m pengamatan. Jika prasyarat penggunaan metode kuadrat terkecil (prasyarat untuk membangun model linier normal klasik) terpenuhi, variabel acak Y memiliki varians yang sama.
Varians kuantitas ditentukan oleh rumus
Mari kita ubah rumus ini:
Jika kondisi Gauss–Markov pada persamaan ekspektasi matematis dari residu acak menjadi nol dan kekonstanan variansnya terpenuhi, kita dapat berpindah dari rumus (2.52) ke rumus
Dengan kata lain, varians dari variabel acak V dan residu acak yang bersesuaian adalah sama.
Estimasi selektif dari ekspektasi matematis dari variabel acak Yj kami akan menunjukkan
dan perkiraan variansnya (konstan untuk pengamatan yang berbeda) sebagai sy.
Dengan asumsi independensi pengamatan individu kamu maka kita mendapatkan fungsi kemungkinan maksimum
(2.53)
Pada fungsi di atas, pembaginya adalah konstanta dan tidak berpengaruh dalam mencari nilai maksimumnya. Oleh karena itu, untuk menyederhanakan perhitungan, dapat dihilangkan. Dengan memperhatikan pernyataan ini dan setelah logaritma, fungsi (2.53) akan berbentuk
Sesuai dengan MMP, kita akan mencari turunan dari fungsi log-likelihood terhadap parameter yang tidak diketahui
Untuk mencari titik ekstrem, kita menyamakan ekspresi yang dihasilkan dengan nol. Setelah transformasi kita mendapatkan sistemnya
(2.54)
Sistem ini sesuai dengan sistem yang diperoleh dengan metode kuadrat terkecil. Artinya, MSM dan OLS memberikan hasil yang sama jika asumsi OLS terpenuhi. Ekspresi terakhir dalam sistem (2.54) memberikan perkiraan penyebaran variabel acak 7, atau, yang juga sama, penyebaran residu acak. Seperti disebutkan di atas (lihat rumus (2.23)), estimasi varians residu acak yang tidak bias sama dengan
Estimasi serupa yang diperoleh dengan menggunakan MMP (sebagai berikut dari sistem (2.54)) dihitung menggunakan rumus
itu. adalah terlantar.
Kami mempertimbangkan kasus penggunaan MMP untuk mencari parameter regresi linier berganda, asalkan nilai Y terdistribusi normal. Pendekatan lain untuk mencari parameter regresi yang sama adalah dengan membangun fungsi kemungkinan maksimum untuk residu acak ε,. Mereka juga diasumsikan mempunyai distribusi normal dengan parameter (0, σε). Sangat mudah untuk memverifikasi bahwa hasil solusi dalam kasus ini akan sesuai dengan hasil yang diperoleh di atas.
Inti dari masalah estimasi parameter titik
ESTIMASI TITIK PARAMETER DISTRIBUSI
Perkiraan poin melibatkan pencarian nilai numerik tunggal, yang diambil sebagai nilai parameter. Dianjurkan untuk menentukan penilaian seperti itu jika volume DE cukup besar. Selain itu, tidak ada konsep tunggal tentang volume ED yang cukup; nilainya bergantung pada jenis parameter yang diestimasi (kita akan kembali ke masalah ini ketika mempelajari metode estimasi parameter interval, tetapi pertama-tama kita akan mempertimbangkan sampel yang mengandung setidaknya 10). nilai cukup). Ketika volume ED kecil, estimasi titik dapat berbeda secara signifikan dari nilai parameter sebenarnya, sehingga tidak cocok untuk digunakan.
Masalah estimasi parameter titik dalam pengaturan yang khas adalah sebagai berikut.
Tersedia: sampel observasi ( x 1 , x 2 , …, xn) di belakang variabel acak X. Ukuran sampel N tetap
Bentuk hukum distribusi besaran telah diketahui X, misalnya dalam bentuk kepadatan distribusi F(Θ , X), Di mana Θ – parameter distribusi yang tidak diketahui (secara umum, vektor). Parameternya adalah nilai non-acak.
Perlu mencari perkiraan Θ* parameter Θ hukum distribusi.
Keterbatasan: Sampelnya representatif.
Ada beberapa metode untuk menyelesaikan masalah estimasi parameter titik, yang paling umum adalah metode kemungkinan maksimum, momen dan kuantil.
Metode ini dikemukakan oleh R. Fisher pada tahun 1912. Metode ini didasarkan pada mempelajari probabilitas diperolehnya sampel pengamatan (x 1 , x 2, …, xn). Probabilitas ini sama dengan
f(x 1, Θ) f(x 2, Θ) … f(x n, Θ) dx 1 dx 2 … dx n.
Kepadatan probabilitas gabungan
L(x 1, x 2 ..., xn; Θ) = f(x 1, Θ) f(x 2, Θ) ... f(x n, Θ),(2.7)
dianggap sebagai fungsi dari parameter Θ , ditelepon fungsi kemungkinan .
Sebagai penilaian Θ* parameter Θ seseorang harus mengambil nilai yang membuat fungsi kemungkinan menjadi maksimal. Untuk mencari estimasi, perlu dilakukan penggantian fungsi kemungkinan T pada Q dan selesaikan persamaannya
dL/hariΘ* = 0.
Untuk menyederhanakan perhitungan, kita beralih dari fungsi kemungkinan ke logaritma ln L. Transformasi ini dapat diterima karena fungsi kemungkinan merupakan fungsi positif dan mencapai maksimum pada titik yang sama dengan logaritmanya. Jika parameter sebarannya merupakan besaran vektor
Θ* =(q 1, q 2, …, q n),
kemudian estimasi kemungkinan maksimum ditemukan dari sistem persamaan
d ln L(q 1, q 2, …, q n) /d q 1 = 0;
d ln L(q 1, q 2, …, q n) /d q 2 = 0;
. . . . . . . . .
d ln L(q 1, q 2, …, q n) /d q n = 0.
Untuk memeriksa apakah titik optimum sesuai dengan maksimum fungsi kemungkinan, perlu dicari turunan kedua dari fungsi ini. Dan jika turunan kedua pada titik optimumnya negatif, maka nilai parameter yang ditemukan akan memaksimalkan fungsi tersebut.
Jadi, menemukan perkiraan kemungkinan maksimum mencakup langkah-langkah berikut: membangun fungsi kemungkinan (logaritma naturalnya); diferensiasi suatu fungsi menurut parameter yang diperlukan dan penyusunan sistem persamaan; memecahkan sistem persamaan untuk menemukan perkiraan; menentukan turunan kedua suatu fungsi, memeriksa tandanya pada titik optimum turunan pertama dan menarik kesimpulan.
Larutan. Fungsi kemungkinan untuk sampel volume ED N
Fungsi kemungkinan log
Sistem persamaan untuk mencari estimasi parameter
Dari persamaan pertama berikut ini:
atau akhirnya
Jadi, mean aritmatika adalah estimasi kemungkinan maksimum untuk ekspektasi matematis.
Dari persamaan kedua kita dapat menemukan
Varians empirisnya bias. Setelah menghapus offset
Nilai sebenarnya dari estimasi parameter: M =27,51, hal 2 = 0,91.
Untuk memeriksa bahwa estimasi yang diperoleh memaksimalkan nilai fungsi kemungkinan, kita mengambil turunan kedua
Turunan kedua dari fungsi ln( L(m,S)) terlepas dari nilai parameternya kurang dari nol, oleh karena itu, nilai parameter yang ditemukan adalah perkiraan kemungkinan maksimum.
Metode kemungkinan maksimum memungkinkan kita memperoleh estimasi yang konsisten, efektif (jika ada, maka solusi yang dihasilkan akan memberikan estimasi yang efektif), cukup, dan terdistribusi normal asimtotik. Metode ini dapat menghasilkan estimasi yang bias dan tidak bias. Bias tersebut dapat dihilangkan dengan melakukan koreksi. Metode ini khususnya berguna untuk sampel kecil.
Anotasi: Tujuan pekerjaan: untuk secara praktis menguasai metode kemungkinan maksimum untuk memperkirakan parameter yang tidak diketahui dari distribusi probabilitas tertentu dari variabel acak. Lingkungan pemrograman - MATLAB.
Bagian teoretis
Metode kemungkinan maksimum atau terbesar dikemukakan oleh R. Fisher [, 13]. Dengan menggunakan metode ini, estimasi titik dibuat dari parameter yang tidak diketahui dari hukum distribusi variabel acak yang diketahui secara apriori.
Pertama-tama mari kita pertimbangkan esensi metode saat memperkirakan parameter distribusi diskrit variabel acak.
Mari kita nyatakan probabilitas bahwa sebagai hasil pengujian nilai tersebut akan mengambil nilai , dengan .
Definisi. Fungsi kemungkinan dari variabel diskrit acak adalah fungsi argumen:
| (7.1) |
di mana adalah bilangan tetap yang diperoleh dengan mengukur variabel acak.
Nilai di mana fungsi kemungkinan mencapai maksimumnya diambil sebagai estimasi titik parameter. Penilaiannya disebut estimasi kemungkinan maksimum.
Untuk menyederhanakan perhitungan, logaritma dari fungsi kemungkinan dimasukkan ke dalam pertimbangan, yang disebut fungsi log-kemungkinan. Fungsi dan mencapai maksimum pada nilai argumen yang sama, jadi alih-alih mencari maksimum fungsi, mereka mencari maksimum fungsi. Menuliskan kondisi yang diperlukan ekstrem dari fungsi tersebut kemungkinan dalam kasus parameter skalar, kita peroleh persamaan kemungkinan
 |
(7.2) |
 |
(7.3) |
di mana adalah sampel variabel acak tertentu.
Persamaan kemungkinan(7.3) dengan fungsi logaritma, sebagai suatu peraturan, lebih sederhana dibandingkan dengan fungsi kemungkinan (7.2).
Jika distribusi variabel acak bergantung pada vektor parameter 
, maka persamaan (7.3) diganti dengan sistem persamaan
 |
(7.4) |
Persamaan (7.3) dan (7.4) biasa disebut persamaan kemungkinan. Dalam banyak kasus, solusi sistem (7.4), yang biasanya nonlinier, harus dicari dengan metode numerik.
Mari kita pertimbangkan penggunaan metode kemungkinan maksimum untuk memperkirakan parameter distribusi kontinu variabel acak dalam suatu populasi.
Biarlah terus menerus variabel acak, yang, sebagai hasil pengujian, mengambil nilai. Jenis kepadatan distribusi diasumsikan diberikan, tetapi parameter yang menentukan fungsi ini tidak diketahui.
Definisi. Fungsi kemungkinan dari variabel acak kontinu adalah fungsi argumen
| (7.5) |
di mana angka-angka tetap.
Estimasi kemungkinan maksimum Parameter distribusi yang tidak diketahui dari variabel acak kontinu dicari dengan cara yang sama seperti variabel diskrit.
Komentar. Jika kepadatan distribusi variabel acak kontinu ditentukan oleh dua parameter yang tidak diketahui dan , maka fungsi kemungkinan adalah fungsi dari dua argumen independen dan :
| (7.6) |
Untuk distribusi diskrit dan kontinu, titik maksimum dari fungsi distribusi logaritmik argumen dapat dicari melalui kondisi ekstrem yang diperlukan:
Titik maksimum yang ditemukan diambil sebagai perkiraan kemungkinan maksimum parameter.
Metode kemungkinan maksimum memiliki sejumlah keunggulan: perkiraannya, secara umum, konsisten (tetapi mungkin bias), terdistribusi normal secara asimtotik (pada nilai besar kira-kira normal) dan memiliki varian terkecil dibandingkan dengan perkiraan normal asimtotik lainnya; jika terdapat estimasi yang efektif untuk parameter yang diestimasi, maka persamaan kemungkinan memiliki solusi unik; Metode ini memanfaatkan data sampel secara paling lengkap tentang parameter yang diestimasi, sehingga sangat berguna dalam kasus sampel kecil. Kerugian dari metode ini adalah seringkali memerlukan perhitungan yang rumit.
Bagian praktis
1. Estimasi parameter distribusi eksponensial
Kami mempertimbangkan contoh pencarian dengan metode kemungkinan maksimum untuk memperkirakan parameter distribusi eksponensial dari variabel acak, yang fungsi kepadatannya berbentuk
 |
(7.7) |
Ciri-ciri distribusi eksponensial meliputi ekspektasi dan varians matematis:
 |
(7.8) |
 |
(7.9) |
Komentar. Dalam fungsi bawaan MATLAB, parameter distribusi eksponensial adalah ekspektasi matematis dari variabel acak.
Kemungkinan implementasi perangkat lunak dari estimasi titik parameter distribusi eksponensial:
hapus,clc,tutup semua %%% Memeriksa kotak dialog penutupan coba global h11 close(h11); akhiri coba global n11 close(n11); akhir coba global v11 close(v11) akhir %% INPUT opsi PARAMETER DISTRIBUSI TEORITIS. Ubah ukuran = "on"; pilihan.WindowStyle = "modal"; %%"normal"; pilihan.Interpreter = "tex"; P1 = inputdlg(("\bfParameter masukan:............................................ .... ............."),... sprintf("Nilai parameter teoretis"),1,("1.23"),pilihan); %% KONVERSI KE STRING VARIABEL P2 = char(P1); %% KONVERSI KE ANGKA PRESISI GANDA P0 = str2num(P2); %% KONTROL INPUT PARAMETER if isempty(P0) h11 = errordlg("Parameter harus berupa bilangan real positif!","Input error");<= 0 | ~isreal(P0) | ~isfinite(P0) h11 = errordlg("Параметр должен быть конечным действительным положительным числом!","Ошибка ввода"); return end % ВВОД ЧИСЛА ПРОГОНОВ ПРОГРАММЫ n1 = inputdlg({"\bfВвод числа прогонов программы.........................."},... "Число прогонов программы",1,{"10"}, options); % ПРЕОБРАЗОВАНИЕ К ЧИСЛОВОЙ ПЕРЕМЕННОЙ n = str2num(char(n1)); %% Контроль ввода цифр if isempty(n) global n11 n11 = errordlg("Число прогонов программы должно быть целым положительным числом!", "Ошибка ввода"); return end if ~isreal(n) | ~isfinite(n) global n11 n11 = errordlg("Число прогонов программы должно быть целым положительным числом!", "Ошибка ввода"); return end %% Контроль целого положительного числа циклов if n <= 0 | n ~= round(n) global n11 n11 = errordlg("Число прогонов программы должно быть целым положительным числом!", "Ошибка ввода"); return end % ВВОД ЧИСЛА ИЗМЕРЕНИЙ СЛУЧАЙНОЙ ВЕЛИЧИНЫ v1 = inputdlg({"\bfВвод числа измерений случайной величины..................................."},... "Число измерений случайной величины",1,{"1234"}, options); % ПРЕОБРАЗОВАНИЕ К ЧИСЛОВОЙ ПЕРЕМЕННОЙ v = str2num(char(v1)); if isempty(v) global v11 v11 = errordlg("Число измерений должно быть положительным целым числом!","Ошибка ввода"); return end if ~isreal(v) | ~isfinite(v) global v11 v11 = errordlg("Число измерений должно быть положительным целым числом!","Ошибка ввода"); return end % КОНТРОЛЬ ЦЕЛОГО ЧИСЛА ИЗМЕРЕНИЙ % СЛУЧАЙНОЙ ВЕЛИЧИНЫ if v <= 0 | v ~= round(v) global v11 v11 = errordlg("Число измерений должно быть положительным целым числом!","Ошибка ввода"); return end syms m k = 0; %% ЦИКЛ ЗАДАННОГО ЧИСЛА ПРОГОНОВ ПРОГРАММЫ for I = 1:n k=k+1; %% ФОРМИРОВАНИЕ ЧИСЛА ИЗМЕРЕНИЙ СЛУЧАЙНОЙ ВЕЛИЧИНЫ t = exprnd(1/P0,v,1); %% ФОРМИРОВАНИЕ ФУНКЦИИ МАКСИМАЛЬНОГО %% ПРАВДОПОДОБИЯ L = m^(length(t))*exp(-m*sum(t)); %% ЛОГАРИФМИЧЕСКАЯ ФУНКЦИЯ МАКСИМАЛЬНОГО %% ПРАВДОПОДОБИЯ Lg = log(L); %% ДИФФЕРЕНЦИРОВАНИЕ dLg = diff(Lg,m); %% ПРЕОБРАЗОВАНИЕ СИМВОЛЬНОЙ ПЕРЕМЕННОЙ К СТРОКОВОЙ dLg = char(dLg); %% РЕШЕНИЕ УРАВНЕНИЯ ОТНОСИТЕЛЬНО ОЦЕНИВАЕМОГО %% ПАРАМЕТРА as1(k) = double(solve(dLg)); %% УСРЕДНЕНИЕ ОЦЕНИВАЕМОГО ПАРАМЕТРА as(k) = mean(as1); end %% ОКОНЧАНИЕ ЦИКЛА ЗАДАННОГО ЧИСЛА ПРОГОНОВ ПРОГРАММЫ mcp = mean(as); %% ВЫВОД РЕЗУЛЬТАТОВ В КОМАНДНОЕ ОКНО fprintf("\n\t%s%g\n \t%s%g\n","Теоретический параметр: ",P0,... "Оценка параметра: ", mcp) fprintf("\tОтносительная погрешность: %g%s\n",abs(P0-mcp)/P0*100,"%") %% ГРАФИЧЕСКИЕ ПОСТРОЕНИЯ figure(1) %% set(gcf,"position",) plot(1:n,as1,"r:","linew",2),grid off,hold on, plot(1:n,as,"linew",2), title(sprintf("%s%g","\bfТеоретический параметр\fontsize{12} \lambda\fontsize{10} = ",P0)) xlabel("\bf Количество циклов"), ylabel("\bf Эмпирический параметр\fontsize{14} \lambda"), legend("\bf Измеряемая величина\fontsize{12} \lambda",... "\bf Средняя величина\fontsize{12} \lambda"), set(gcf,"color","w") %% ПОСТРОЕНИЕ ТЕОРЕТИЧЕСКОЙ И ЭМПИРИЧЕСКОЙ %% ФУНКЦИИ ПЛОТНОСТИ t = 0: 0.1: 4; y1 = P0*exp(-P0*t); %exppdf(t,1/P0); % встроенная функция y2 = mcp*exp(-mcp*t); %exppdf(t,1/mcp); figure(2) plot(t, y1, "r", "linew",2), hold on plot(t, y2, "bo", "linew",2) grid off legend("\bf Теоретическая функция плотности (PDF)",... "\bf Эмпирическая функция плотности"), text(t(end)/3,2/3*max(max()),["\bf",... sprintf("Теоретический параметр: %g\n Эмпирический параметр: %g",P0,mcp)]) xlabel("\bf Случайная величина"), ylabel("\bf Функция плотности"), set(gcf,"color","w")
variabel acak kontinu dengan kepadatan Jenis kepadatan diketahui, tetapi nilai parameternya tidak diketahui. Fungsi kemungkinan adalah fungsi (di sini - sampel volume n dari distribusi variabel acak £). Sangat mudah untuk melihat bahwa fungsi kemungkinan dapat diberi makna probabilistik, yaitu: pertimbangkan sebuah vektor acak yang komponen-komponennya independen, variabel acak yang terdistribusi secara kolektif dan identik dengan hukum D(z). Maka elemen probabilitas dari vektor E berbentuk yaitu. Fungsi kemungkinan dikaitkan dengan probabilitas memperoleh sampel tetap dalam serangkaian percobaan P. Ide utama dari metode kemungkinan adalah bahwa, sebagai estimasi parameter A, diusulkan untuk mengambil nilai-nilai tersebut (3) yang memberikan fungsi kemungkinan maksimum untuk sampel tetap tertentu, yaitu diusulkan untuk menganggap sampel yang diperoleh dalam percobaan sebagai yang paling mungkin. Menemukan estimasi parameter pj direduksi menjadi menyelesaikan sistem persamaan k (k adalah jumlah parameter yang tidak diketahui): Karena fungsi log L memiliki maksimum pada titik yang sama dengan fungsi kemungkinan, sistem persamaan kemungkinan (19) adalah sering ditulis dalam bentuk Sebagai perkiraan parameter yang tidak diketahui Seseorang harus mengambil solusi sistem (19) atau (20) yang sangat bergantung pada sampel dan tidak konstan. Dalam kasus dimana £ diskrit dengan deret distribusi, fungsi kemungkinan disebut fungsi dan estimasi dicari sebagai solusi sistem. Metode kemungkinan maksimum atau ekuivalennya dapat ditunjukkan. Perlu dicatat bahwa metode kemungkinan maksimum menghasilkan perhitungan yang lebih kompleks daripada metode momen, tetapi secara teoritis metode ini lebih efektif karena perkiraan kemungkinan maksimum menyimpang lebih sedikit dari nilai sebenarnya dari parameter taksiran dibandingkan perkiraan yang diperoleh dengan menggunakan metode momen. . Untuk distribusi yang paling sering ditemui dalam aplikasi, estimasi parameter yang diperoleh dengan menggunakan metode momen dan metode kemungkinan maksimum sama dalam banyak kasus. Prshir 1. Penyimpangan (ukuran bagian dari nilai nominal merupakan variabel acak berdistribusi normal. Diperlukan untuk menentukan kesalahan sistematik dan varians penyimpangan dari sampel. M Dengan syarat (adalah variabel acak berdistribusi normal dengan matematis ekspektasi (kesalahan sistematis) dan dispersi yang akan diestimasi dari sampel berukuran n : X\>...уХп. Dalam hal ini, fungsi kemungkinan Sistem (19) berbentuk Oleh karena itu, tidak termasuk solusi yang tidak bergantung pada Xx, kita memperoleh yaitu estimasi kemungkinan maksimum dalam hal ini bertepatan dengan mean dan varians empiris yang sudah kita ketahui > Contoh 2. Perkirakan parameter /i dari variabel acak yang terdistribusi secara eksponensial dari suatu sampel. 4 Fungsi kemungkinan berbentuk Persamaan kemungkinan membawa kita pada solusi yang bertepatan dengan estimasi parameter yang sama yang diperoleh dengan metode momen, lihat (17). ^ Contoh 3. Dengan menggunakan metode kemungkinan maksimum, perkirakan peluang munculnya lambang jika, dalam sepuluh kali pelemparan sebuah uang logam, lambang tersebut muncul sebanyak 8 kali. -4 Misalkan probabilitas yang diestimasi sama dengan p. Mari kita perhatikan variabel acak (dengan deret distribusi. Fungsi kemungkinan (21) berbentuk Metode kemungkinan maksimum Persamaan tersebut memberikan perkiraan probabilitas p yang tidak diketahui frekuensi kemunculan lambang dalam percobaan. Kesimpulan pembahasan metode untuk menemukan estimasi, kami menekankan bahwa, meskipun memiliki jumlah data eksperimen yang sangat besar, kami masih tidak dapat menunjukkan nilai pasti dari parameter estimasi, terlebih lagi, seperti telah berulang kali dicatat, estimasi yang kami peroleh mendekati nilai sebenarnya dari parameter yang diperkirakan hanya “rata-rata” atau “dalam banyak kasus”. Oleh karena itu, tugas statistik penting, yang akan kita pertimbangkan lebih lanjut, adalah tugas menentukan keakuratan dan keandalan penilaian yang kita lakukan.
