Contoh Estimasi Kemungkinan Maksimum

Misalkan kita punya contoh acak dari populasi yang menarik. Kita mungkin memiliki model teoretis untuk cara itu populasi didistribusikan. Namun, mungkin ada beberapa populasi parameter dimana kita tidak tahu nilainya. Estimasi kemungkinan maksimum adalah salah satu cara untuk menentukan parameter yang tidak diketahui ini.

Ide dasar di balik estimasi kemungkinan maksimum adalah bahwa kami menentukan nilai-nilai parameter yang tidak diketahui ini. Kami melakukan ini sedemikian rupa untuk memaksimalkan fungsi kepadatan probabilitas gabungan yang terkait atau fungsi massa probabilitas. Kita akan melihat ini secara lebih rinci dalam hal berikut. Kemudian kami akan menghitung beberapa contoh estimasi kemungkinan maksimum.

Diskusi di atas dapat diringkas dengan langkah-langkah berikut:

1. Mulailah dengan sampel variabel acak independen X₁, X₂,... X_n dari distribusi umum masing-masing dengan fungsi kerapatan probabilitas f (x; θ₁,.. .θ_k). Theta adalah parameter yang tidak diketahui.
instagram viewer
2. Karena sampel kami independen, probabilitas untuk mendapatkan sampel spesifik yang kami amati ditemukan dengan mengalikan probabilitas kami bersama-sama. Ini memberi kita fungsi kemungkinan L (θ₁,.. .θ_k) = f (x₁ ;θ₁,.. .θ_k) f (x₂ ;θ₁,.. .θ_k)... f (x_n ;θ₁,.. .θ_k) = Π f (x_saya ;θ₁,.. .θ_k).
3. Selanjutnya, kita gunakan Kalkulus untuk menemukan nilai-nilai theta yang memaksimalkan fungsi kemungkinan kami L.
4. Lebih khusus, kami membedakan fungsi kemungkinan L sehubungan dengan θ jika ada parameter tunggal. Jika ada beberapa parameter, kami menghitung turunan parsial L sehubungan dengan masing-masing parameter theta.
5. Untuk melanjutkan proses maksimalisasi, tetapkan turunan L (atau turunan parsial) sama dengan nol dan pecahkan untuk theta.
6. Kami kemudian dapat menggunakan teknik lain (seperti tes turunan kedua) untuk memverifikasi bahwa kami telah menemukan maksimum untuk fungsi kemungkinan kami.

Misalkan kita memiliki paket benih, yang masing-masing memiliki probabilitas konstan hal keberhasilan perkecambahan. Kami menanam n dari ini dan menghitung jumlah mereka yang tumbuh. Asumsikan bahwa setiap benih tumbuh secara independen dari yang lain. Bagaimana kita menentukan estimator kemungkinan maksimum parameter hal?

Kita mulai dengan mencatat bahwa setiap benih dimodelkan oleh distribusi Bernoulli dengan sukses hal. Kami membiarkan X menjadi 0 atau 1, dan fungsi massa probabilitas untuk satu biji adalah f(x; hal ) = hal^x(1 - hal)^{1 - x}.

Sampel kami terdiri dari n berbeda X_saya, masing-masing dengan memiliki distribusi Bernoulli. Benih yang tumbuh X_saya = 1 dan benih yang gagal tumbuh tumbuh X_saya = 0.

Fungsi kemungkinan diberikan oleh:

L ( hal ) = Π hal^x_saya(1 - hal)^{1 - x}_saya

Kami melihat bahwa adalah mungkin untuk menulis ulang fungsi kemungkinan dengan menggunakan hukum eksponen.

L ( hal ) = hal^{Σ x}_saya(1 - hal)^{n - Σ x}_saya

Selanjutnya kita membedakan fungsi ini sehubungan dengan hal. Kami berasumsi bahwa nilai untuk semua X_saya dikenal, dan karenanya konstan. Untuk membedakan fungsi kemungkinan kita perlu menggunakan aturan produk bersama dengan aturan daya:

L '( hal ) = Σ x_sayahal^{-1 + Σ x}_saya (1 - hal)^{n - Σ x}_saya- (n - Σ x_saya ) hal^{Σ x}_saya(1 - hal)^{n-1 - Σ x}_saya

Kami menulis ulang beberapa eksponen negatif dan memiliki:

L '( hal ) = (1/hal) Σ x_sayahal^{Σ x}_saya (1 - hal)^{n - Σ x}_saya- 1/(1 - hal) (n - Σ x_saya ) hal^{Σ x}_saya(1 - hal)^{n - Σ x}_saya

= [(1/hal) Σ x_saya - 1/(1 - hal) (n - Σ x_saya)]_sayahal^{Σ x}_saya (1 - hal)^{n - Σ x}_saya

Sekarang, untuk melanjutkan proses maksimalisasi, kami menetapkan turunan ini sama dengan nol dan menyelesaikannya p:

0 = [(1/hal) Σ x_saya - 1/(1 - hal) (n - Σ x_saya)]_sayahal^{Σ x}_saya (1 - hal)^{n - Σ x}_saya

Sejak hal dan 1- hal) bukan nol, kita memilikinya

0 = (1/hal) Σ x_saya - 1/(1 - hal) (n - Σ x_saya).

Mengalikan kedua sisi persamaan dengan hal(1- hal) memberi kita:

0 = (1 - hal) Σ x_saya - hal (n - Σ x_saya).

Kami memperluas sisi kanan dan melihat:

0 = Σ x_saya - hal Σ x_saya - haln + pΣ x_saya = Σ x_saya - haln.

Jadi Σ x_saya = haln dan (1 / n) Σ x_saya = p. Ini berarti bahwa penduga kemungkinan maksimum hal adalah mean sampel. Lebih khusus ini adalah proporsi sampel dari biji yang berkecambah. Ini sangat sesuai dengan apa yang akan dikatakan oleh intuisi kepada kita. Untuk menentukan proporsi benih yang akan berkecambah, pertama-tama pertimbangkan sampel dari populasi yang diminati.

Ada beberapa modifikasi pada daftar langkah-langkah di atas. Sebagai contoh, seperti yang telah kita lihat di atas, biasanya bermanfaat menghabiskan beberapa waktu menggunakan aljabar untuk menyederhanakan ekspresi fungsi likelihood. Alasannya adalah untuk membuat diferensiasi lebih mudah dilakukan.

Perubahan lain pada daftar langkah-langkah di atas adalah untuk mempertimbangkan logaritma natural. Maksimum untuk fungsi L akan terjadi pada titik yang sama seperti untuk logaritma natural L. Dengan demikian memaksimalkan ln L sama dengan memaksimalkan fungsi L.

Banyak kali, karena adanya fungsi eksponensial dalam L, mengambil logaritma natural L akan sangat menyederhanakan beberapa pekerjaan kami.

Kita melihat bagaimana menggunakan logaritma natural dengan meninjau kembali contoh dari atas. Kita mulai dengan fungsi kemungkinan:

L ( hal ) = hal^{Σ x}_saya(1 - hal)^{n - Σ x}_saya .

Kami kemudian menggunakan hukum logaritma kami dan melihat bahwa:

R ( hal ) = ln L ( hal ) = Σ x_saya dalam p + (n - Σ x_saya) pada (1 - hal).

Kami sudah melihat bahwa turunannya lebih mudah untuk dihitung:

R '( hal ) = (1/hal) Σ x_saya - 1/(1 - hal)(n - Σ x_saya) .

Sekarang, seperti sebelumnya, kita menetapkan turunan ini sama dengan nol dan mengalikan kedua sisinya dengan hal (1 - hal):

0 = (1- hal ) Σ x_saya - hal(n - Σ x_saya) .

Kami memecahkannya hal dan temukan hasil yang sama seperti sebelumnya.

Penggunaan logaritma natural L (p) sangat membantu dengan cara lain. Jauh lebih mudah untuk menghitung turunan kedua R (p) untuk memverifikasi bahwa kita benar-benar memiliki maksimum pada titik (1 / n) Σ x_saya = p.

Untuk contoh lain, anggaplah kita memiliki sampel acak X₁, X₂,... X_n dari populasi yang kami modelkan dengan distribusi eksponensial. Fungsi kepadatan probabilitas untuk satu variabel acak adalah dari bentuk f( x ) = θ^-1e ^-x/θ

Fungsi kemungkinan diberikan oleh fungsi kepadatan probabilitas gabungan. Ini adalah produk dari beberapa fungsi kerapatan ini:

L (θ) = Π θ^-1e ^-x_saya^/θ = θ^-ne ^-Σx_saya^/θ

Sekali lagi akan sangat membantu untuk mempertimbangkan logaritma natural dari fungsi kemungkinan. Membedakan ini akan membutuhkan lebih sedikit pekerjaan daripada membedakan fungsi kemungkinan:

R (θ) = ln L (θ) = ln [θ^-ne ^-Σx_saya^/θ]

Kami menggunakan hukum logaritma kami dan memperoleh:

R (θ) = ln L (θ) = - n dalam θ + -Σx_saya/θ

Kami membedakan sehubungan dengan θ dan memiliki:

R '(θ) = - n / θ + Σx_saya/θ²

Tetapkan turunan ini sama dengan nol dan kami melihat bahwa:

0 = - n / θ + Σx_saya/θ².

Kalikan kedua sisi dengan θ² dan hasilnya adalah:

0 = - n θ + Σx_saya.

Sekarang gunakan aljabar untuk dipecahkan untuk θ:

θ = (1 / n) Σx_saya.

Kami melihat dari sini bahwa mean sampel adalah yang memaksimalkan fungsi kemungkinan. Parameter θ agar sesuai dengan model kami harus menjadi rata-rata dari semua pengamatan kami.

Koneksi

Ada beberapa jenis penduga lain. Satu jenis estimasi alternatif disebut a penaksir tidak bias. Untuk jenis ini, kita harus menghitung nilai yang diharapkan dari statistik kita dan menentukan apakah itu cocok dengan parameter yang sesuai.