Soru:
Birisi Gibbs örneklemesini çok basit kelimelerle açıklayabilir mi?
Thea
2011-05-02 00:37:57 UTC
view on stackexchange narkive permalink

Gibbs örneklemesini kullanan (Latent Dirichlet Allocation ile) konu modelleme üzerine biraz okuma yapıyorum. İstatistikte yeni başlayan biri olarak - iki terimli, çok terimli, önsel, vb. Şeyler biliyorum, Gibbs örneklemesinin nasıl çalıştığını kavramakta zorlanıyorum. Lütfen birisi bunu basit İngilizce ve / veya basit örnekler kullanarak açıklayabilir mi? (Konu modellemeye aşina değilseniz, herhangi bir örnek işe yarar.)

Bu soruya bakın: http://stats.stackexchange.com/questions/8485/a-good-gibbs-sampling-tutorials-and-references
Bu soruyu yinelenen olarak bildirmek için kimin işaretlediğini merak ediyorum?Bu soru bağlantıdaki sorudan önce geldi ...
üç yanıtlar:
#1
+182
charles.y.zheng
2011-05-02 01:52:41 UTC
view on stackexchange narkive permalink

Dungeons & Dragons'a ev sahipliği yapan bir zindan yöneticisisiniz ve bir oyuncu 'Spell of Eldritch Chaotic Weather'ı (SECW) yayınlıyor. Bu büyüyü daha önce hiç duymadınız, ama oldukça karmaşık olduğu ortaya çıktı. Oyuncu size yoğun bir kitap verir ve 'bu büyünün etkisi, bu kitaptaki olaylardan birinin gerçekleşmesidir' der. Kitap büyük bir 1000 farklı efekt içeriyor ve dahası, olayların farklı 'göreceli olasılıkları' var. Kitap size en olası olayın 'ateş topu' olduğunu söylüyor; diğer olayların tüm olasılıkları "ateş topu" olasılığına göre tanımlanır; örneğin: 155. sayfada, "ördek fırtınası" nın "ateş topunun" yarısı kadar olduğu yazıyor.

Siz, Dungeon Master, bu kitaptan rastgele bir olayı nasıl örnekleyeceksiniz? Bunu şu şekilde yapabilirsiniz:

Kabul etme-reddetme algoritması:

1) Bir 'aday' olaya karar vermek için bir d1000 atın.

2) Aday etkinliğin, en olası etkinlik olan 'ateş topu' olma ihtimalinin% 44 oranında olduğunu varsayalım. Ardından adayı% 44 olasılıkla kabul edin . (Bir d100 atın ve 44 veya daha düşükse kabul edin. Aksi takdirde, bir etkinliği kabul edene kadar 1. adıma geri dönün.)

3) Kabul edilen olay sizin rastgele örneğinizdir.

Kabul et-reddet algoritmasının, belirtilen göreli olasılıklar ile dağıtımdan örneklemesi garanti edilir.

Çok fazla zar attıktan sonra sonunda bir adayı kabul edersiniz: "kurbağa çağırın". Trol-orklar ve ejderha-elfler arasındaki savaşı yönetme işine (kıyaslama rutin) geri dönebildiğiniz için rahat bir nefes alırsınız.

Ancak, geride kalmamak için başka bir oyuncu 'Seviye' atmaya karar verir. 2 gizemli siber etki fırtınası. ' Bu büyü için, iki farklı rastgele efekt ortaya çıkar: rastgele oluşturulmuş bir saldırı ve rastgele oluşturulmuş bir karakter buff'ı. Bu büyünün kılavuzu o kadar büyük ki sadece bir CD'ye sığabilir. Oyuncu sizi başlatır ve size bir sayfa gösterir. Çeneniz düşüyor: Her saldırı için giriş , bir önceki büyünün kılavuzu kadar büyüktür, çünkü eşlik eden her olası güçlendirme için göreceli bir olasılığı listelemektedir

' Cupric Blade '

Bu saldırıya eşlik eden en olası güçlendirme' Hotelling aura'dır

'Jackal Vision', bu saldırıya 'Hotelling aura' kadar eşlik etme olasılığı% 33'tür

"Ekmek Kızartma Makinesi Kulakları" nın bu saldırıya "Hotelling aura" ya eşlik etme olasılığı% 20

...

Benzer şekilde, belirli bir Gerçekleşen saldırı büyüsü, buffın gerçekleşme olasılığına bağlıdır.

Bu bilgi verildiğinde uygun bir olasılık dağılımının tanımlanıp bile sağlanıp sağlanamayacağını merak etmek haklı olacaktır. Görünüşe göre, eğer varsa, kılavuzda verilen koşullu olasılıklar tarafından benzersiz bir şekilde belirtilir. Ama ondan nasıl örnek alınır?

Neyse ki, CD otomatikleştirilmiş bir Gibbs örnekleyici ile birlikte gelir, çünkü aşağıdakileri elle yaparak sonsuza kadar harcamanız gerekir.

Gibbs'in örnekleyici algoritması

1) Rastgele bir saldırı büyüsü seçin

2) Saldırı için buff koşulunu seçmek için kabul et-reddet algoritmasını kullanın

3) 1. adımda seçtiğiniz saldırı büyüsünü unutun. 2. adımdaki güçlendirmeye koşullu kabul-reddet algoritmasını kullanarak yeni bir saldırı büyüsü seçin

4) 2. adıma gidin, sonsuza kadar tekrarlayın (ancak genellikle 10000 yineleme yeterli olacaktır)

5) Algoritmanızın son yinelemede sahip olduğu şey sizin örneğinizdir.

Görüyorsunuz, genel olarak, MCMC örnekleyicileri yalnızca asimptotik olarak belirtilen koşullu olasılıklara sahip bir dağılımdan örnekler üretme garantilidir. Ancak çoğu durumda, MCMC örnekleyicileri mevcut tek pratik çözümdür.

D & D'yi istatistik dizisine almak için Ditto, +1.
Err buff nedir?
+1 (+10 olmalıdır) - Şimdiye kadar duyduğum en iyi açıklama:]
@charles, hm ilginç, her zaman Gibbs örneklemesinin $ (x, y) $ örneğini elde etmek için $ p (x | y) $ ve $ p (y | x) $ 'ı örneklediğinizde olduğunu düşünürüm. Burada anlatılan örnekleme şemasının Metropolis-Hastings olduğunu düşündüm. Yanlış mıyım?
@mpiktas. İkinci örnekte, $ x $ 'saldırı' ve $ y $ buff'tır. Dolayısıyla, $ p (x | y) $ ve $ p (y | x) $ verildiğinde $ (x, y) $ 'ı örneklemek için bir algoritma sunuyorum.
@charles, teşekkürler, kaçırdım. Garip bir nedenden ötürü katı matematiksel metinleri her zaman katı olmayan örneklerden daha kolay anlaşılır buluyorum. Belki bu durumda D&D oynamamış olmam bana karşı çalışıyor. Yine de cevap için +1.
Bu çok harika, sadece oy vermek ve teşekkür etmek için giriş yapıyorum!
Cevabın çoğunu anlamıyorum ...
Burada Ork ile yüzleşen köpek olmak istemiyorum ... um .. ama @mpiktas,'ye katılıyorum, bu Gibbs'e değil Metropolis-Hastings'e benziyor.
@charles.y.zheng, bir parametreyi tahmin etmek için kendi verilerinizi ve modelinizi kullanırken, (x, y) örneğini elde etmek için p (x | y) ve p (y | x) ne olur?x parametre ve y veri olabilir mi?P (parametre | veri, model) biçiminde olur mu?
Anlaması kolay açıklama - ve ben D&D oynamadım bile.Teşekkürler!
@JDLong Gibbs, özel bir metro hastings vakasıdır.
tamam, şimdi Gibbs örneklemesini kullanarak D&D hakkında bir açıklama alabilirsem, gitmekte fayda var!:)
İstatistik sorusunun cevabını anlamak için şimdi D&D oynamayı öğrenmem gerekiyor mu?: /
ADOM kimse?# & $>
#2
+14
edwinfj_
2016-11-29 20:41:58 UTC
view on stackexchange narkive permalink

Bu dokümanı Resnik & Hardisty'den UNINITIATED İÇİN GIBBS ÖRNEKLEMESİ istatistiki olmayan arka plandaki kişiler için çok yararlı buluyorum. &'ın Gibbs örneklemesini neden kullanacağını açıklıyor ve algo'yu gösteren örnekler var.

Henüz yorum yapamam gibi görünüyor.

Gibbs örneklemesi, bağımsız bir kavram değildir. Bazı önkoşul bilgileri gerektirir. Referansınız için kendi çalışmamdan özetlediğim bilgi zinciri aşağıdadır (Benim ana dalım uygulamalı fizikti):

  1. Monte Carlo (üst düzey anlayış)
  2. Markov modeli (yüksek seviye)
  3. Bayes teoremi
  4. Gibbs örneklemesi

Burada adlandırdığım belge kabaca zinciri takip ediyor. Bağlantı bozuksa, google doküman adını. Onu bulacaksınız.

Bazı düşünceler: Gibbs örneklemesinin yalnızca bazı özetlerin anlaşılabileceğini sanmıyorum. Bunun için kısayol yok. Arkasındaki matematiği anlamalısın. Ve daha çok bir "teknik" gibi olduğu için, "onu anlama" kriterim, "kodunu düzenleyebilir ve ne yaptığınızı anlayabilirsiniz (mutlaka sıfırdan değil)". Bazı hızlı notlara bakarak anladıklarını düşünenler için, muhtemelen sadece "Markov Zinciri Monte Carlo" nun ne olduğunu yüksek düzeyde anlıyorlar ve hepsini anladıklarını düşünüyorlar (bu yanılsamayı kendim yaptım).

Bağlantının içeriğini özetleyebilir misiniz?Aksi takdirde, bu gerçekten bir cevaptan çok bir yorumdur (yine de faydalı bir yorum olacaktır)
İyi kağıt alıntı: Bu konuda yeniyim ve şimdiye kadar katı tanımlarla iyi değilim ve makalenin 2. sayfası, gördüğüm maksimum olasılık tahminine karşı maksimum a posteriori'nin en iyi ve en kısa özetidir.
#3
+4
Taylor
2016-11-30 00:31:02 UTC
view on stackexchange narkive permalink

Wikipedia: "Gibbs Örneklemesinin buradaki amacı, $ P (\ mathbf {Z} | \ mathbf {W}; \ alpha, \ beta) $" Gösteriminin dağılımını yaklaşık olarak tahmin etmektir wiki sitesinde veya buradaki orijinal gazetede bulunabilir.

Yukarıdaki dağılımı hedefleyen Gibbs örneklemesinin bir "taraması", size aşağıdaki olasılık dağılımlarından yararlanmanızı sağlayacaktır: $ P (\ mathbf {Z} _ {(1,1)} | \ mathbf {Z} _ {- ( 1,1)} \ mathbf {W}; \ alpha, \ beta) $, $ P (\ mathbf {Z} _ {(1,2)} | \ mathbf {Z} _ {- (1,2)} \ mathbf {W}; \ alpha, \ beta) $, $ P (\ mathbf {Z} _ {(1,3)} | \ mathbf {Z} _ {- (1,3)} \ mathbf {W} ; \ alpha, \ beta), \ ldots, P (\ mathbf {Z} _ {(N, K)} | \ mathbf {Z} _ {- (N, K)} \ mathbf {W}; \ alpha, \ beta) $. Bunları bir sırayla inceleyebilir veya bunlardan hangisinin örnekleneceğini rastgele seçebilirsiniz. Ama birçok örnek almak için defalarca tarama yapıyorsun. Hangi seçeneği seçerseniz seçin, bir $ \ mathbf {Z} $ s dizisi elde edersiniz.

$$ \ mathbf {Z} ^ 1, \ mathbf {Z} ^ 2, \ mathbf {Z} ^ 3 \ ldots $$

Her $ \ mathbf {Z} ^ i $ bir $ N \ times K $ matristir. Ayrıca, iki ardışık $ \ mathbf {Z} $ matrisi için yalnızca bir eleman farklı olacaktır. Bunun nedeni, bir $ P (\ mathbf {Z} _ {(m, n)} | \ mathbf {Z} _ {- (m, n)} \ mathbf {W}; \ alpha, \ dağılımından örnekleme yapıyor olmanızdır. beta) $ bir örnekten diğerine geçtiğinizde.

Bunu neden istersiniz? $ P (\ mathbf {Z} | \ mathbf {W}; \ alpha, \ beta) $ 'dan bağımsız ve aynı çizimler istemiyor muyuz? Bu şekilde, beklentilere yaklaşmak için büyük sayılar yasasını ve merkezi limit teoremlerini kullanabiliriz ve hata hakkında bir fikrimiz olur. Ancak bu $ \ mathbf {Z} $ çekilişlerinin bağımsız olduğundan şüpheliyim. Ve hatta aynılar mı (hatta aynı dağıtımdan mı geliyorlar)?

Gibbs örneklemesi hala size büyük sayılar kanunu ve merkezi bir limit teoremi verebilir. $ \ mathbf {Z} ^ 1, \ mathbf {Z} ^ 2, \ mathbf {Z} ^ 3 \ ldots $, sabit / değişmez dağılımlı bir Markov Zinciridir $ P (\ mathbf {Z} | \ mathbf {W}; \ alpha, \ beta) $.Bu, her bir çekilişin marjinal dağılımının hedeflediğiniz dağılımdan olduğu anlamına gelir (bu yüzden aynı çekilişlerdir).Ancak bağımsız değiller.Pratikte bu, zinciri daha uzun süre çalıştırdığınız veya zinciri alt örneklediğiniz anlamına gelir (örneğin, yalnızca her 100. numuneyi alın).Yine de her şey hala "çalışabilir".

Daha fazla bilgi için sorunun altındaki bağlantıyı tıklardım.Bu konu başlığında yayınlanan bazı iyi referanslar var.Bu yanıt, yalnızca genel LDA referanslarındaki gösterimi kullanarak size jist'i vermeye çalışır.



Bu Soru-Cevap, otomatik olarak İngilizce dilinden çevrilmiştir.Orijinal içerik, dağıtıldığı cc by-sa 3.0 lisansı için teşekkür ettiğimiz stackexchange'ta mevcuttur.
Loading...