Aksine, çapraz doğrulama, aşırı uyumla mücadele etmenin iyi bir yoludur!
Neden $ k $ -katlamalı CV?
Bir modeliniz olduğunu ve örneklem dışı performansının bir tahminini istediğinizi varsayalım ...
Tahmin hatasını modele uymak için kullanılan verilerle (ör. eğitim hatası) değerlendirebilirsiniz, ancak bu açıkça out örneklem performansının iyi bir göstergesi değildir. Model gerçekten gereğinden fazla uygunsa, yeni gözlemlerde düşük performans gösterecek, ancak yine de düşük bir eğitim hatası gözlemleyeceksiniz.
Alternatif olarak, verilerinizi iki kısma (eğitim / test) ayırabilir ve yalnızca modele uyması için tren kümesini kullanabilirsiniz. Model tarafından hiçbir şekilde görülmeyen verilerin geri kalanı, daha sonra örneklem dışı performansın bir tahminini elde etmek için kullanılır. Harika! Ama ya farklı bir bölme kullansaydık? Görünüşe göre, farklı bölmelerden elde edilen sonuçlar arasındaki fark oldukça büyük olabilir ... aslında o kadar büyük ki, veri bölme yalnızca gerçekten büyük $ n $ için güvenilirdir .
$ k $ -fold CV'nin aşağıdakileri tekrar tekrar yaparak uğraşmaya çalıştığı şey budur:
- Modelinize $ n - \ frac {n} {k} $ gözlemleri yerleştirin;
- Kalan $ \ frac {n} {k} $ gözlemlerindeki , modelinize uymak için kullanılmayan performansını gözlemleyin .
Bu işlemi $ k $ kez, her seferinde sonraki $ \ frac {n} {k Tüm gözlemler bir kez test seti olarak kullanılıncaya kadar, test için} $ gözlem. Daha sonra her bir katlamanın test kümesindeki hataları toplarsınız (veya ağırlıklı ortalama hesaplarsınız) ve kullanılan belirli bölünmelere daha az duyarlı olan örneklem dışı performans tahminine sahip olursunuz, çünkü artık $ k $ . $ ^ \ dagger $
Bu, aşırı uymaya neden olabilir mi?
Şimdi sorunuzu yanıtlamak için:
each katlama modeli'yi eğitmek için kullanılacağından ( $ k $ yinelemelerde), bu aşırı uyuma neden olmaz mı?
Her katlama aslında aynı modeli sıfırdan eğitmek için kullanılır. Bu nedenle, eğitim setleri arasında gerçekten bir çakışma olsa da ve bu nedenle, models'yi aynı verilere (kısmen) birden çok kez uyuyor olsanız da, verileri tahminlerinizi güncellemek için yeniden kullanmıyorsunuz!
Modeliniz belirli bir kata fazla sığarsa, o katın eğitim hatası, o katın test hatasından daha düşük olacaktır. Bu nedenle, tüm kıvrımların hatalarını toplarken / ortalamalarını alırken, aşırı uyan bir modelin çapraz doğrulanmış performansı düşük olacaktır.
$ \ dagger $ : Daha da iyisi, eğer sayısal olarak karşılayabiliyorsanız, $ k $ span> -CV'yi birden çok kez katlayın.