Soru:
Bernoulli dağılımı için Maksimum Olabilirlik Tahmini
keqiao li
2017-04-23 23:25:36 UTC
view on stackexchange narkive permalink

Elimizde $ X_1, \ ldots, X_n $ iid Bernoulli ($ p $) olduğunu varsayalım, $ p $ için MLE'yi isteyin.Log-likelihood fonksiyonunun ikinci türevi konusunda oldukça zorlandım, neden negatif?İkinci sorum, parametre uzayının sınırında maksimuma ulaşıldığında MLE nedir: $ {\ sum x_i} = 0 $ veya $ n $?Herhangi bir geri bildirim ve öneriyi dört gözle bekliyorum.

Pekala, $ \ frac {\ sum x} {n} $ 'ın yerel maksimum yerine global maksimum olduğunu nasıl kanıtlayacağıma dair başka bir sorum var.
Yanıltıcı ifade için özür dilerim, sorum ikinci türevin negatif olduğunu nasıl kanıtlayabilirim?
İnsanların ne istediğinizi anlamak için yorumları okumak zorunda kalmaması için lütfen soruyu iki yorumunuzu yansıtacak şekilde düzenleyin
Iki yanıtlar:
bdeonovic
2017-04-24 02:11:11 UTC
view on stackexchange narkive permalink

Bu durumlarda günlük olma olasılığı ile çalışmak, olasılıktan genellikle daha kolaydır. Minimum / maksimum günlük olabilirliğinin, olasılığın minimum / maksimum değeriyle tam olarak aynı olduğunu unutmayın. $$ \ begin {hizala *} L (p) & = \ prod_ {i = 1} ^ n p ^ {x_i} (1-p) ^ {(1-x_i)} \\ \ ell (p) & = \ log {p} \ sum_ {i = 1} ^ n x_i + \ log {(1-p)} \ sum_ {i = 1} ^ n (1-x_i) \\ \ dfrac {\ kısmi \ ell (p)} {\ kısmi p} & = \ dfrac {\ sum_ {i = 1} ^ n x_i} {p} - \ dfrac {\ sum_ {i = 1} ^ n (1 -x_i)} {1-p} \ taşan {\ text {set}} {=} 0 \\ \ sum_ {i = 1} ^ n x_i - p \ sum_ {i = 1} ^ n x_i & = p \ sum_ {i = 1} ^ n (1-x_i) \\ p& = \ dfrac {1} {n} \ sum_ {i = 1} ^ n x_i \\ \ dfrac {\ kısmi ^ 2 \ ell (p)} {\ kısmi p ^ 2} & = \ dfrac {- \ sum_ {i = 1} ^ n x_i} {p ^ 2} - \ dfrac {\ sum_ {i = 1} ^ n (1-x_i)} {(1-p) ^ 2} \ end {hizala *} $$

Sondan bir önceki çizgi bize MLE'yi (log-olabilirliğin ilk türevini (aynı zamanda skor fonksiyonu olarak da adlandırılır) sıfıra eşit karşılayan $ p $) verir.

Son denklem bize log-olabilirliğin ikinci türevini verir. $ P \ in [0,1] $ ve $ x_i \ in \ left \ {0,1 \ right \} $ olduğundan, ikinci türev negatiftir.

Jeremy Voisey
2017-04-24 01:25:00 UTC
view on stackexchange narkive permalink

İkinci türevin negatif işareti, durağan noktanın bir maksimum olduğunu gösterir. Pozitif bir minimum olduğunu gösterir.

İkinci türev, size birinci türevin (gradyan) nasıl değiştiğini söyler. Negatif bir değer size eğrinin aşağı doğru eğildiğini söyler. Bu maksimumda gerçekleşir.

Gönderinizden, log-olabilirlik fonksiyonunun ilk türevine zaten sahip olduğunuzu varsayarsak \ begin {equation} \ frac {d \ \ ln f} {dp} = \ frac {\ sum_i x_i} {p} - \ frac {n- \ sum_i x_i} {1-p} \ end {denklem}

vermek \ begin {equation} \ hat {p} = \ frac {\ sum_i x_i} {n} \ end {denklem}

İkinci türev \ begin {equation} \ frac {d ^ 2 (\ ln f)} {dp ^ 2} = - \ frac {\ sum_i x_i} {p ^ 2} - \ frac {n- \ sum_i x_i} {(1-p) ^ 2} \ end {denklem}

İnceleme, ifadedeki iki kesir için hem payların hem de paydaların pozitif olduğunu doğruladığından p'nin tüm gerçek değerleri için negatif olacaktır.

Bunu, bulunan belirli $ \ hat {p} $ değeri için gösterebiliriz.

$ \ hat {p} $

değerinizin yerine geçme

\ begin {equation} \ frac {d ^ 2 (\ ln f)} {dp ^ 2} = - \ frac {\ sum_i x_i} {(\ frac {\ sum_i x_i} {n}) ^ 2} - \ frac {n- \ sum_i x_i} {(1- \ frac {\ sum_i x_i} {n}) ^ 2} \ end {denklem}

\ begin {equation} = - \ frac {\ sum_i x_i} {(\ frac {\ sum_i x_i} {n}) ^ 2} - \ frac {n- \ sum_i x_i} {(\ frac {n- \ sum_i x_i} {n}) ^ 2} \ end {denklem} \ begin {equation} = - \ frac {n ^ 2} {\ sum_i x_i} - \ frac {n ^ 2} {n- \ sum_i x_i} \ end {denklem}

Açıkça olumsuz olan.

Bunun küresel bir maksimum olduğunu biliyorsunuz, çünkü bu tek maksimumdur! Sınırlarda minimum değerler vardır.

Gradyanın her zaman negatif olduğunu göstererek $ p = 0 $ 'ın sınırdaki maksimum olduğunu kanıtlayabilirsiniz.

Benzer şekilde, gradyan her zaman pozitifse, bu $ p = 1 $ maksimum değerdir.

Yanıltıcı ifade için özür dilerim, sorum ikinci türevin negatif olduğunu nasıl kanıtlayabilirim?
Bu daha mantıklı.Telefonuma yazıyorum, bu yüzden denklem yazmaya çalışmayacağım.Adımlar, ikinci türevi bulmak, ardından sabit noktayı veren p'nin ikame değerini bulmak olacaktır.
Bilgisayarıma dön!İkinci türevi ekledim.
Argümanınız yanlış: Bir fonksiyonun kritik noktaları arasında yalnızca bir maksimum bulunabilse bile, bu mutlaka genel bir maksimum değildir.Karşı örnek: $ y = x ^ 4-x ^ 2 $, kritik noktaları arasında $ x = 0 $ 'da tek bir maksimuma sahiptir, ancak değeri ($ 0 $) açıkça global bir maksimum değildir.
@whuber Bu argümanın geçerli olduğunu düşünüyorum çünkü bu durumda optimizasyon her iki tarafta da sınırlı.Sınırlı optimizasyonda, tüm kritik noktaları ve sınırı kontrol ederek global optima bulmanız garanti edilir.
@Radon Bu yorumu yaptığımda cevapta aradığım türden gelişme buydu.


Bu Soru-Cevap, otomatik olarak İngilizce dilinden çevrilmiştir.Orijinal içerik, dağıtıldığı cc by-sa 3.0 lisansı için teşekkür ettiğimiz stackexchange'ta mevcuttur.
Loading...