"Ortalama Ortalama Kesinlik" (bazen kısaltılmış mAP veya MAP) istediğiniz şey olabilir. Bilgi alma sistemlerini değerlendirmek için oldukça yaygın olarak kullanılır ve hesaplaması oldukça basittir.

İlk olarak, belirli bir sorgu için ortalama hassasiyeti hesaplayın. Bunu yapmak için, belgeleri sıralayın ve ilgili her belgeyi aldıktan sonra doğruluğu hesaplayın. Örneğin, dört belgenin bu sorguyla alakalı olduğunu ve sistemimizin aşağıdakileri döndürdüğünü varsayalım:

1. Alakalı belge
2. Alakasız belge
3. Alakalı belge
4. Alakalı belge
5. Alakasız belge
6. Alakasız belge.
7. İlgili belge

İlgili ilk belge birinci konumdadır ve buradaki kesinlik 1/1 = 1,0'dır. Sonraki ilgili belge 3. konumdadır; Şimdiye kadar görülen üç belgeden ikisi konuyla ilgilidir, bu nedenle buradaki hassasiyetimiz 2/3. 4. belge de ilgilidir ve buradaki kesinlik puanı 3 / 4'tür. Son ilgili öğe yedinci konumdadır ve bize 4/7 hassasiyet verir.

Bu sorgu için ortalama kesinliği elde etmek için bu kesinlik puanlarının (1/4 * (1 + 2/3 + 3/4 + 4/7) = ~ 0.747) ortalamasını bulun. Ortalama ortalama kesinlik, değerlendirme kümenizdeki tüm sorgulardaki bu ortalamaların sadece ortalamasıdır.

Bir hassas geri çağırma ödünleşimi seçmek büyük ölçüde size bağlıdır. $ F_1 $ puanı onlara eşit ağırlık verir; $ F_ \ beta $ içindeki $ \ beta $ değerini, hatırlamak için hassasiyetten $ \ beta $ kat daha fazla ağırlık veriyor olarak yorumlayabilirsiniz. Bazı çalışmaların, kullanıcıların hatırlamak için hassasiyeti tercih ettiklerini gösterdiğine inanıyorum, ancak bunun büyük ölçüde uygulamaya ve kullanım durumuna bağlı olduğuna eminim. Google'ın kedilerle ilgili her web sayfasını bana göstermesine kesinlikle ihtiyacım yok, ancak ilk sayfadaki tüm sitelerin alakalı olmasını istiyorum. Diğer taraftan, bir mahkeme davası için keşif yapıyorsanız, alakalı olabilecek her belgeyi iade etmeniz daha önemli olabilir.

Aslında, PR eğrisinin yalnızca bir EAA ölçüsü vardır; Biyolojide (özellikle DREAM meydan okuma serisi ortamında) kullanılır, çünkü AUROC ile tutarlıdır (yani performans önemli ölçüde farklıysa sıralama genellikle aynıdır) yine de AUROC'tan daha düşük değerler vererek daha iyi sayısal çözünürlük verir.

Sorun, AUPR'nin dikkatli bir entegrasyon gerektirmesidir, bu nedenle doğru bir uygulama bulmak oldukça zordur.

Bu konu hakkında kanonik bir makale.

Yalnızca tek bir (kesinlik, geri çağırma) veri noktası için ROC'nin AUC'sini hesaplayabilirsiniz .

Bu makale, Kesin olmayan ortamlar için sağlam sınıflandırma, dışbükey gövde AUC'nin nasıl hesaplanacağını açıklar (şimdi oldukça standarttır). Yalnızca bir (kesinlik, geri çağırma) noktanız olduğunda, her zaman hayır deme (0,0) noktasına kadar düz bir çizgi ve her zaman evet deme (1,1) noktasına kadar düz bir çizgi uzatırsınız, ve dışbükey gövdeye sahipsiniz.

Şimdi net sonuç: bu durumda, yalnızca bir koordinatla hesaplama,

$ AUC = (t - f + 1) / 2 $.

Bu, başka yerlerde de belirtildiği gibi AUC ile Gini katsayısı arasındaki bağlantıyı vurgular.