Soru:
Öğretim amaçlı ünlü istatistiksel galibiyetler ve korku hikayeleri
Placidia
2019-11-01 18:07:37 UTC
view on stackexchange narkive permalink

Yerel bir devlet üniversitesiyle veri analizi alanında bir yıllık bir program tasarlıyorum. Program, öğrencileri veri analizi, görselleştirme ve özetleme, gelişmiş Excel becerileri ve R programlamadaki temel görevleri yerine getirmeye hazırlamayı amaçlamaktadır.

Sıradan sezginin nerede başarısız olduğunu ve istatistiksel analizin gerekli olduğunu gösteren bir dizi kısa, gerçek dünya örneği hazırlamak istiyorum. Ayrıca "ünlü istatistiksel başarısızlıklar" ile de ilgileniyorum, ancak daha çok galibiyetlerle ilgileniyorum. İlgili veriler ücretsiz olarak erişilebilir olmalıdır.

Aradığım şeyin mükemmel bir örneği, Simpson'un paradoksunu gösteren Berkeley ayrımcılık vakasıdır. Bunun verileri, R'nin veri kümelerinde hafızaya alınmıştır.

Tarihsel vakalar da ilginçtir. John Snow'un Broad Street pompa verileriyle ilgili analizi, görselleştirmenin gücüne iyi bir örnek.

Veri toplanmasında (seçim yanlılığı) vb. pek çok başarısızlık vardır ve tıbbi istatistikteki literatür bunlarla doludur.

Değişken seçimi ve örnekleme tasarımı alanında birçok "istatistiksel kazanç" meydana gelir. Diğer alanlarda ortaya çıkan paradokslarla ilgileniyorum - bu tür analizler gibi.

Şu son soruya bakın: https://stats.stackexchange.com/questions/432866/famous-easy-to-understand-examples-of-a-confounding-variable-invalidating-a-stud/432940#432940
* Statistics'in (Freedman, Pisani ve Purves) herhangi bir baskısındaki çok sayıda örnek bu niteliktedir: harika bir kitap olmasının bir nedeni de budur.
Nate Silver tarafından teknik olmayan kolay bir okuma olan "The Signal and the Noise" birçok ilginç örnek içeriyor.Zayıf varsayımların ve başarısız istatistiksel modellerin 2008'de ABD konut piyasasının çöküşüne nasıl katkıda bulunduğu dahil.
Doğru yanıtların sınırının olmadığı bir "büyük liste" sorusu bunu "çok geniş" yapar.
Bundan bir şey yapıp yapamayacağınızdan emin değilim, ama her zaman sevmişimdir: Otomobil ölümlerinin% 30'u uyuşturucu veya alkol içerir;% 70'i uyuşturucu veya alkol içermiyor.Bu nedenle, herkes uyuşturulmuş veya sarhoş araç kullanmalıdır çünkü 2: 1 oranında ayık araba kullanmaktan daha güvenlidir.
Klasik https://en.m.wikipedia.org/wiki/How_to_Lie_with_Statistics de bahsedilmeyi hak ediyor.
İlgili XKCD: https://xkcd.com/1138/
On iki yanıtlar:
Semoi
2019-11-01 21:20:21 UTC
view on stackexchange narkive permalink

Alman tankı sorununu gerçekten sevdim.Genellikle alakasız olarak değerlendirilen verilerin bir istatistikçinin elinde nasıl değerli bilgiler haline geldiğini gösterir.Dahası, küçük sayılar yasasını ve taban oran yanılgısını beğendim.

Yanlış pozitif paradoksa (diğer bir deyişle taban oran yanılgısı) benzer bir başka yaygın yanılgı da [Simpson Paradox] (https://en.wikipedia.org/wiki/Simpson%27s_paradox) 'dir.Örneğin, başarı şansı en yüksek tıbbi prosedürün neden paradoksal olarak diğer seçeneklerden daha düşük başarı oranına sahip olacağını açıklar.
"Gösterilerden" sonraki virgül, bahsettiğiniz tanklar kadar Almanca'dır.;) harika bir örnek, BTW.
carlo
2019-11-01 19:41:28 UTC
view on stackexchange narkive permalink

R vs Sally Clark, mahkemenin istatistiklerden ve olasılık temel ilkelerinden haberi olmadığı için cinayetten mahkum edilen ünlü bir kadın davasıdır.

Ancak, istatistikleri incelemeye başladığımda beni en çok etkileyen şeyi söylemem gerekirse, bu aynı zamanda istatistiksel regresyona da adını veren ortalamaya gerileme 'dir (öyle olsa biletamamen farklı bir şey).Nobel ödülü sahibi (bir psikolog olsa bile ekonomi için) Daniel Kahneman, ortalamaya gerilemenin insanları nasıl yanlış inançlara yönlendirebileceğini nasıl fark ettiğiyle ilgili büyüleyici bir anekdot anlattı.

Edit: Aklıma yeni gelen ve bunun yerine eksik verilerin önemiyle ilgilenen bir diğer ilginç hikaye de Abraham Wald ve savaş uçakları kurşun deliklerinden biridir.

Güzel bir!Aslında Kahneman noktası, Deming'in, rastlantısallığı ödüllendirerek işçilerin moralini bozan "ayın satış elemanı" ödüllerini eleştirdiği kalite devriminin merkezinde yer alıyor.Bunu kesinlikle kullanacağım.
Bu [dava] (https://arxiv.org/abs/math/0607340) (yüksek oranda ölümden hüküm giymiş bir hemşire) benzerdir.https://stats.stackexchange.com/a/314249/164061
Wald hikayesi, [hayatta kalma önyargısı] (https://en.wikipedia.org/wiki/Survivorship_bias) kavramını göstermek için iyi bir hikaye.Öğrencilerin nereye ekstra zırh koyacakları konusunda tavsiyede bulunmalarını sağlayarak aydınlatıcı bir egzersiz olarak da kullanılabilir.
corey979
2019-11-01 19:48:56 UTC
view on stackexchange narkive permalink

Sıradan sezginin nerede başarısız olduğunu göstermek için, Monty Hall paradoksu harika bir başlangıçtır.

Huy Pham
2019-11-01 18:50:12 UTC
view on stackexchange narkive permalink

Örnekleme kursunuzun bir parçasıysa, Dewey Truman'ı yener

Bunu unuttum.Teşekkürler.
PsychometStats
2019-11-02 08:21:24 UTC
view on stackexchange narkive permalink

Kumar oynamanın ne kadar yanlış gidebileceğiyle ilgili bir başka ilginç örnek de Monte Carlo Casino örneğidir.

18 Ağustos 1913'te Monte Carlo Casino'da bir rulet oyununda top arka arkaya 26 kez siyaha düştü.Bu son derece nadir görülen bir olaydı: Kırmızı veya siyah bir dizinin arka arkaya 26 kez meydana gelme olasılığı, mekanizmanın tarafsız olduğu varsayılarak 66,6 milyonda 1'dir.O sırada, Kumarbazlar siyaha karşı bahis oynayarak milyonlarca frank kaybettiler, yanlış bir şekilde galibiyet serisinin çarkın rastlantısallığında bir dengesizliğe neden olduğunu ve ardından uzun bir kırmızı çizgi izlemesi gerektiğini düşünüyorlardı.

Kumarbazın yanılgısı ve Kumarbazın yıkımı bu örnek için iyi bir açıklama verir.

Tekerlek bozulmuş muydu?İstatistik literatüründe bu hikaye hakkında başka tartışma var mı?
@innisfree bildiğim kadarıyla değildi
Dünya çapında oynanan rulet miktarı göz önüne alındığında, böyle bir tesadüfün bir yerde meydana gelmesi aslında oldukça makuldür;66,6 milyon fırsatta yaklaşık bir kez gerçekleşmesi bekleniyor.Ancak, oynadığınız bir gecede kendi masanızda meydana gelme ihtimali yüksek.
@Chromatix kesinlikle doğru.Yaşamı boyunca 7 kez yıldırım çarpan bir adamın vaka çalışmasını hatırlayın.Ayrıca çok olası olmayan bir olay, ancak tüm tarih boyunca gerçekleşmiş olması şaşırtıcı değildi.
Yirminci yüzyılın başlarında dolandırıcıların bir kumarhanede rulet çarkı kurması da oldukça makul;)
Sıklıkçı zihniyet: 1910'da Monte Carlo'da belirli bir rulet masasında belirli bir spin dizisinin hileli olduğu olasılığını yargılamak için, tüm dünyadaki tüm masalardaki (gerçekleştirilmiş ve gerçekleştirilmemiş) tüm dönüşleri düşünmem gerekir.tüm kayıtlı insanlık tarihi: D
Bilginize, bu hikayenin kaynağı Huff & Geis (1959), How to Take a Chance.Yine de ona erişimim yok.
Peter - Reinstate Monica
2019-11-03 23:11:54 UTC
view on stackexchange narkive permalink

false pozitif paradox 'yi dikkate değer buluyorum çünkü çok sezgisel değil. İyi bir örnek:

C Genel popülasyonun kanser taraması yaşam beklentisini artırmaz, , bazı kanserler erken yakalandığı ve daha iyi tedavi edilebildiği için açıkça hayat kurtarılmış olsa da. Buna göre ABD Önleyici Hizmetler Görev Gücü, 2009 yılında 40-49 yaş arası kadınlar için rutin tarama önermeyi bıraktı.

Bu iyi bir öğretim materyali çünkü hayatlarının bir noktasında hemen hemen herkesi ilgilendiren önemsiz olmayan bir gerçek hayat örneğidir. Ulusal Kanser Enstitüsü tarafından burada bir makale var.

Mantık şu şekildedir:

  • Kanser vakalarının sayısı, "tedavi edilmesi gereken sayı" (okuma: ekran) büyük olacak kadar azdır.
  • Testler oldukça güvenilirdir. Ancak düşük insidans oranı, çok sayıda gereksiz biyopsinin sonucu olarak büyük bir mutlak yanlış pozitif sayıya yol açar (>% 90 yanlış pozitiftir).
  • Kanser olayları aşağıdaki alt gruplardan birine girer:
    1. Ne olursa olsun hastayı öldürecek agresif kanserler.
    2. Başka nedenlerden ötürü ölmeden önce hastayı öldürmeyen yavaş kanserler. Bunların tespit edilmesine aşırı tanı denir. USPSTF belgesinden: "Göğüsten ölümden kaçınan her kadın için aşırı teşhis konulan 8 meme kanseri vakasından 1'ine ilişkin muhafazakar tahminle bile kanser varsa, 2 ila 3 kadın gereksiz yere tedavi edilecek. "
    3. Geç tespit edildiğinde bile tarama yapılmadan tedavi edilebilecek kanserler.
    4. Geç tespit edildiğinde hastayı öldürecek kadar agresif olan ancak erken tespit edildiğinde hala tedavi edilebilen kanserler.

Taramadan yalnızca 4. sınıf, çok sayıda gereksiz hastane ziyareti, gereksiz biyopsiler ve çok sayıda uykusuz geceler pahasına kar elde ediyor.Bunların tümü küçük ama ölçülebilir sağlık riskleridir ve tedavi edilmesi gereken çok sayıdan fazla birikerek 4. alt kümedeki az sayıdaki çok gerçek faydadan daha ağır basmaktadır.

Genel popülasyonda mamografi 40'ın üzerinde veya 50'nin üzerinde bunun açık bir örneği mi?X-ışınına maruz kalma nedeniyle meme kanseri riskinde çok küçük bir artış, çok sayıda mamogramda çarpılır = # 4 tip meme kanserlerinizin erken teşhisi ile elde edilen önleme için bir dengeleme.
@Alexis Evet, öyle.USPSTF tarafından yazılan oldukça aydınlatıcı bir makaleye bağlantı verdim.Genç kadınlar için rutin taramayı önermeyi bıraktılar.50-60 yaş arası kadınlar için 10 yıl boyunca yanlış pozitif *% 60 * şansı ve yine de gereksiz biyopsi için% 9,4 şansı vardır.(Ve "gerçek pozitifler" in hala 4 alt kümemi de içerdiğine dikkat edin, yani önemli bir sayıya aşırı tanı kondu veya ölümcül oldu.)
@Alexis Biyopsileri bırakın, basit hastane ziyaretleriyle bağlantılı diğer riskleri de küçümsemem.Birden fazla dirençli suşla, herhangi bir invazif prosedür önemli bir risktir.Tek başına yanlış veya aşırı tanı yoluyla (herhangi bir tedavi olmaksızın!) Yapılan zarar da önemlidir.İnsanlar kanser teşhisi konduğunda genellikle kendileri dışındadırlar, iyi uyumazlar, iyi beslenmezler, yan etkileri ne olursa olsun (fizyolojik, kazalar, madde bağımlılığı).Hepsi oldukça küçük ama büyük sayılar için.
Ioannis
2019-11-05 04:48:19 UTC
view on stackexchange narkive permalink

Benford yasası:

Burada açıklanmıştır. Rakamlar, sayıların önünde tek bir sıklıkta görünmez, bunun yerine belirli bir örüntüyü takip eder: 1. basamak,% 30 şansla ilk basamak olma olasılığı yüksektir, ardından 2 (% 17,6 şans), vb.. Aşağıdaki resim (Wikipedia'dan), doğal olarak oluşan bazı veri kümelerinde her sayının başındaki her bir basamağın sıklığını göstermektedir:

Frequency of each digit at the beginning of each number, in some naturally-occurring datasets

Yasanın geçerli olduğu belirli koşullar vardır (örneğin, veriler çeşitli ölçeklere yayılmalıdır, bu nedenle insanların boyları gibi şeyler uygun değildir), ancak oldukça geneldir.

Belki de en şaşırtıcı uygulama sahtekarlığı tespit etmektir. Bu, rakamlar uydurmaya çalışan insanların rakamları eşit dağıtma eğiliminde oldukları ve dolayısıyla Benford yasasını ihlal ettiği varsayımına dayanmaktadır.

Bir keresinde bunu bir sınıfa açıklarken öğrencilerden birinin, şirketinden iddialarımı doğrulamaya çalıştığı bir muhasebe hesap tablosu bulduğunu hatırlıyorum. İşe yaradı :)

Zipf yasası

Burada açıklanmıştır: Bir derlemedeki bir kelimenin sıklığı, sıralamasıyla ters orantılıdır. Şaşırtıcı olan, bu ilişkinin henüz çevrilmemiş eski diller için bile herhangi bir külliyat için geçerli olmasıdır. Bu kalıbın neden geçerli olabileceği hakkında daha fazla bilgi veren ilginç bir video burada. Aşağıdaki resim, 30 Wikipedias'ta ( kaynak) ilk 10 milyon kelime için bir log-log ölçeğinde sırayı (yatay) ve frekansı (dikey) göstermektedir. Yasanın düz bir çizgi öngördüğünü unutmayın: Rank vs Frequency

Bu iki yasa güçlü ve sezgiseldir ve istatistik yoluyla kişinin dünyayı daha iyi anlamasını sağladıkları için "istatistiksel kazançlar" olarak adlandırılabilirler.

Bir kelimenin "sıralaması" ne anlama geliyor?İlk tahminim bunun rank (frekans) anlamına geldiği.Durum buysa, bunun ilginç yanı, bu ikisi arasındaki çizginin çok benzer olmasıdır, çünkü tanım gereği monotondur.
Aslında, frekans sıralamasıdır (belirli bir külliyat içinde).İlginç olan, rankın frekansı çok iyi tahmin etmesidir - tam tersi tabii ki tanım gereği doğrudur.
Chromatix
2019-11-04 01:22:25 UTC
view on stackexchange narkive permalink

Hatalı istatistiklerin, hükümet politikasını yönlendirmek için kullanıldıklarında nasıl uzun vadeli sonuçları olabileceğinin bir örneği olarak en sevdiğim örnek, Beeching Axe olarak bilinen büyük ölçekli demiryolu vandalizmi eylemidir. . Yol yapım endüstrisiyle güçlü bağları olan bir Ulaştırma Bakanı'nın ( Ernest Marples), Britanya'nın hangi bölgelerini belirlemek için bir petrokimya endüstrisi uzmanını ( Richard Beeching) işe almasından kaynaklanmıştır. demiryolu ağı zarar ediyordu ve bu nedenle budanması gerekiyordu.

Doğrudan bir sonuç olarak yaklaşık 4000 rota mili kapandı ve yol talebini doğrudan olumlu yönde etkiledi (ve kaçınılmaz olarak, günümüzdeki sıkışıklığın çoğu). Pennines boyunca önemli ve nispeten yakın zamanda iyileştirilmiş Woodhead rotası da dahil olmak üzere 1980'lerde daha fazla kapanma devam etti ve yalnızca bir zamanlar Midland'ın kuzey kesimi olan Settle & Carlisle hattı vakasıyla durduruldu. Demiryolunun ana hattı.

Marples'ın daha sonra vergi sahtekarlığından yargılanmaktan kaçmak için ülkeyi terk etmesi belki de dikkate değer. Aynı zamanda, Marples Ridgeway'deki eski yol yapım formundaki% 80 hissesini (bakanlık atamasının yasal olarak gerektirdiği şekilde) karısına sattığı için çıkar çatışması şüpheleri de vardı ve bu da işini kolaylaştırdı. daha sonra yeniden edinmek için.

Konuyla ilgili iyi bir kaynak, Gerard Fiennes'in yazdığı "Demiryolu İşletmeye Çalıştım".

Buradaki istatistiksel hatalar, büyük ölçüde soruna aşırı dar bir bakış açısıyla bakmaya dayanıyordu. Makbuzlarını incelemek ve trafik araştırmaları yapmak için şube hatlarının istasyonları ziyaret edildi - ancak hattı kullanan ve biletleri ülkenin başka yerlerinde satılan mevsimsel trafik göz ardı edildi. Çoğu durumda maliyetler, modernize edilebilecek eski çalışma uygulamalarıyla şişirildi, ancak bu seçenek, hangi hatların tamamen kapatılacağını seçme noktasında dikkate alınmadı. Bu aynı zamanda, kayıpları çok az olan ve bir mod değişikliği olmaksızın hedeflere ulaşabilmenin "ağ etkisi" yoluyla bir bütün olarak demiryollarına dolaylı olarak fayda sağlayan bazı hatların kapanış listesine dahil edilmesine de yol açtı.

Bu hatalar, daha da sert bir kapatma programı öneren ancak neyse ki reddedilen Serpell Raporunda tekrarlandı.

Bugün, İngiltere'de demiryolu trafiğine olan talep keskin bir şekilde artıyor ve hatlar yeni inşa ediliyor ve talebi karşılamak için yeniden açılıyor. Beeching ve Marples'ın çabalarıyla kapatılan bazı hatlar, bugün hala var olsalardı çok faydalı olabilirdi.

Demiryollarının daha sonra özelleştirilmesinin öyküsü de, hatalı düşünmenin bir örneği olarak ilginçtir.Private Island'ın 2. Bölümü bunun mükemmel bir anlatımıdır.https://www.versobooks.com/books/1731-private-island
fr_andres
2019-11-02 08:38:01 UTC
view on stackexchange narkive permalink

Güzel QA!Burada iki sentim var: Esas olarak korelasyonun nasıl çok şüpheli olabileceği ve bunu çözmenin bazı geleneksel yolları ile ilgili:

https://www.tylervigen.com/spurious-correlations

https://en.wikipedia.org/wiki/Anscombe%27s_quartet

https://en.wikipedia.org/wiki/Spearman%27s_rank_correlation_coefficient

Biraz ayrıntıya girecek olursak, modern istatistiklerde korelasyon ve nedensellik kuralı kesinlikle Judea Perl'dir.Nielsen'in (web) kitabı iyi bir inceleme sağlıyor:

http://www.michaelnielsen.org/ddi/if-correlation-doesnt-imply-causation-then-what-does/

Korelasyonun ille de nedenselliği kanıtlamadığına işaret etmek için leylek gözlemleri ve doğum oranlarını kullanan bir istatistik kitabını hatırlıyorum.
Cliff AB
2019-11-04 06:14:04 UTC
view on stackexchange narkive permalink

Bunun "sezginin yetersiz kaldığı" olarak mı sayılacağını bilmiyorum, daha ziyade "naif bir analiz, karşı sezgisel ve yanıltıcı bir cevap verir".

İstatistik hocalarımdan biri, genç öğrencilerde sigara içme ve FEV arasındaki bağlantıyla ilgili bir çalışma başlattı.

FEV, akciğer hacminin bir ölçüsü olarak düşünülebilir. Profesör verileri ilk sunduğunda, ilişkinin ne olacağını düşündüğümüzü sordu. Hepimiz sigara içmenin düşük FEV ile bağlantılı olacağını düşündük. Ancak verilere bakıldığında bu doğru değildi! Aslında, sigara içenlerin sigara içmeyenlere göre daha büyük FEV'leri vardı. Bu ders sigara içmeyi reddeden biri tarafından mı öğretiliyor?

Ardından verileri yeniden analiz etti, ancak bu sefer yaşa göre ayarlama yaptı. Bu yapıldığında görmeyi beklediğimiz şeyi gördük: sigaranın FEV üzerindeki olumsuz etkisi. Bunun nedeni, sigara içenlerin genç öğrencilerden daha büyük olasılıkla daha yaşlı öğrenciler olmasıdır. Sigara içmenin FEV'leri üzerinde olumsuz bir etkisi olsa da, FEV'deki artışın büyümesini tamamen ortadan kaldıracak kadar değildi.

R'deki verilere göz atmak için bir bağlantı burada bulunabilir.

Verilere bağlantı eklemek için +1.Bir karıştırıcıya güzel bir örnek!
Michelle
2019-11-04 15:16:26 UTC
view on stackexchange narkive permalink

Fırlatma sıcaklığı ve fırlatma sıcaklığının uzay mekiği o-halkaları üzerindeki etkisi arasındaki ilişkinin gösterilememesi, Columbia'nın fırlatıldıktan kısa bir süre sonra feci bir şekilde arızalanmasına yol açtı. Soruna genel bir bakış burada.

Ne olursa olsun, sağladığınız bağlantı ne olduğunu tam olarak yansıtmıyor.Aslında, [mühendisler sorunu önceden fark ettiler, ancak yöneticiler endişelerini görmezden geldi.] (Https://en.wikipedia.org/wiki/Space_Shuttle_Challenger_disaster#O-ring_concerns)
Aynı Wikipedia sayfasından alıntı yaparak: "Bir Thiokol yöneticisi Ebeling'e 18 ° F (−8 ° C) fırlatma olasılığını sorduğunda," [W] yalnızca 40 ° [40 ° F veya 4 ° F° C] ... 18 ° hakkında düşünen herhangi bir iş var, biz kimsenin olmadığı bir yerdeyiz. '"
David Smith
2019-11-05 01:29:47 UTC
view on stackexchange narkive permalink

Geçen bir buçuk yıldır Bloomberg News, birden fazla veri kaynağını kullanarak Tesla 3 üretimi için periyodik tahminler yaptı.Bu işi yeni sonlandırdılar ama bence tarih ilginç.



Bu Soru-Cevap, otomatik olarak İngilizce dilinden çevrilmiştir.Orijinal içerik, dağıtıldığı cc by-sa 4.0 lisansı için teşekkür ettiğimiz stackexchange'ta mevcuttur.
Loading...