Soru:
OLS ve ML ile doğrusal regresyon tahmini
MarkDollar
2011-07-21 15:06:50 UTC
view on stackexchange narkive permalink

$ u \ sim N (0, \ sigma ^ 2) $ olduğunu varsaydığım doğrusal bir regresyon tahmin edeceğimi varsayalım. OLS'nin makine öğrenimi tahminine karşı faydası nedir? ML Yöntemlerini kullandığımızda $ u $ dağılımını bilmemiz gerektiğini biliyorum, ancak $ u \ sim N (0, \ sigma ^ 2) $ 'ı ML veya OLS kullanıp kullanmadığımı varsaydığım için bu nokta alakasız görünüyor. Bu nedenle OLS'nin tek avantajı, $ \ beta $ tahmin edicilerinin asimptotik özelliklerinde olmalıdır. Veya OLS yönteminin başka avantajlarına sahip miyiz?

üç yanıtlar:
#1
+14
ocram
2011-07-21 15:23:57 UTC
view on stackexchange narkive permalink

Her zamanki gösterimleri kullanarak, ML yönteminin günlük olabilirliği

$ l (\ beta_0, \ beta_1; y_1, \ ldots, y_n) = \ sum_ {i = 1} ^ n \ left \ {- \ frac {1} {2} \ log (2 \ pi \ sigma ^ 2) - \ frac {(y_ {i} - (\ beta_0 + \ beta_1 x_ {i})) ^ {2} } {2 \ sigma ^ 2} \ right \} $.

$ \ beta_0 $ ve $ \ beta_1 $ açısından maksimize edilmelidir.

Ancak, bunun en aza indirmeye eşdeğer olduğunu görmek kolaydır

$ \ sum_ {i = 1} ^ {n} (y_ {i} - (\ beta_0 + \ beta_1 x_ {i})) ^ {2} $.

Dolayısıyla hem ML hem de OLS aynı çözüme götürür.

Bu güzel derste daha fazla ayrıntı sağlanmıştır notlar.

Cevabınız için teşekkürler ocram. Her iki yöntemin de aynı çözüme götürdüğü açıktır. Ancak OLS, tahmin ediciler ML tahmin edicilerinden daha verimli olduğu için daha güçlü olmalı, değil mi? $ U \ sim N (0, \ sigma ^ 2) $ varsayılırken her iki yöntemin bağlamdaki farklılıklarını ve avantajlarını merak ediyorum ve tahmin edicilerin özellikleriyle ilgileniyorum. $ \ Beta $ değerleri aynıdır, ancak OLS tahmin edicilerinin asimptotik özelliklerinin tercih edilebilir olduğunu aklımda tutuyorum. kabaca konuşursak: ML ve OLS tahmin edicilerle aynı sonuçları ve özellikleri veriyorsa, neden OLS kullanmalıyız?
Maksimum olasılık tahmin aracı * * OLS'dir. Tam olarak aynı olduklarından, aynı asimptotik özelliklere sahip olacaklardır.
#2
+4
Greg Snow
2011-07-21 22:35:24 UTC
view on stackexchange narkive permalink

Sorunuzda kavramın yanlış kısmına odaklanıyorsunuz. En küçük karelerin güzelliği, dağılımdan bağımsız olarak güzel ve kolay bir cevap vermesidir ve eğer gerçek dağılım normal olursa, o zaman da maiximum olasılık cevabıdır (bence bu Gauss-Markov oradadır). Normalden farklı bir dağılımınız olduğunda ML ve OLS farklı cevaplar verecektir (ancak gerçek dağılım normale yakınsa cevaplar benzer olacaktır).

#3
  0
Druss2k
2012-12-09 20:10:10 UTC
view on stackexchange narkive permalink

the only difference for finite samples is, that the ML-estimator for the residual variance is biased. It does not account for the number of regressors used in the model.



Bu Soru-Cevap, otomatik olarak İngilizce dilinden çevrilmiştir.Orijinal içerik, dağıtıldığı cc by-sa 3.0 lisansı için teşekkür ettiğimiz stackexchange'ta mevcuttur.
Loading...