Kısacası, ridge regresyon ve kement, çıkarımdan ziyade tahmin için optimize edilmiş regresyon teknikleridir.

Normal regresyon size tarafsız regresyon katsayıları verir (maksimum olasılık tahminleri, "veri setinde gözlemlendiği şekliyle").

Ridge ve lasso regresyon, katsayıları düzenlemenize ("küçültme") olanak tanır. Bu, tahmin edilen katsayıların yeni veri setlerinde ("tahmin için optimize edilmiş") daha iyi çalışmasını sağlamak için 0'a doğru itildiği anlamına gelir. Bu, karmaşık modelleri kullanmanıza ve aynı zamanda fazla uydurmaktan kaçınmanıza olanak tanır.

Hem mahya hem de kement için, agresif düzenlemenin nasıl gerçekleştirildiğini tanımlayan bir "meta-parametre" ayarlamanız gerekir. Meta parametreler genellikle çapraz doğrulama ile seçilir. Ridge regresyonu için meta parametre genellikle "alfa" veya "L2" olarak adlandırılır; basitçe düzenlileştirme gücünü tanımlar. LASSO için meta parametre genellikle "lambda" veya "L1" olarak adlandırılır. Ridge'in aksine, LASSO düzenlemesi aslında daha az önemli öngörüleri 0'a ayarlayacak ve modelin dışında bırakılabilecek öngörüleri seçmenize yardımcı olacaktır. İki yöntem "Elastik Ağ" Düzenlemesinde birleştirilmiştir. Burada, düzenlileştirme gücünü tanımlayan "L2" ve istenen sonuç seyrekliği "L1" ile her iki parametre de ayarlanabilir.

Burada konuya güzel bir giriş bulacaksınız: http://scikit-learn.org/stable/modules/linear_model.html

Doğrusal model, modeli oluşturmak için verilen veriler için en uygun olsa da, görünmeyen verilerle ilgili tahminler için en iyi model olacağı garanti edilmez

Altta yatan verilerimiz nispeten basit bir modeli takip ediyorsa ve kullandığımız model görev için çok karmaşıksa, esas olarak yaptığımız şey, verilerdeki olası herhangi bir değişiklik veya varyansa çok fazla ağırlık vermektir.Modelimiz, verilerimizdeki en küçük değişiklik için bile aşırı tepki veriyor ve aşırı telafi ediyor.İstatistik ve makine öğrenimi alanındaki insanlar bu fenomeni aşırı uyum olarak adlandırıyor.Veri kümenizde, diğer özelliklerle son derece doğrusal bir şekilde ilişkilendirilmiş özellikler bulunduğunda, doğrusal modellerin büyük olasılıkla aşırıya kaçacağı ortaya çıkar.

Ridge Regresyonu, çok büyük katsayılara sahip modellere ceza ekleyerek aşırı uydurmayı önler.

Her şey, uğraştığınız sorunun türüne bağlıdır. İlk bakışta, bir seçim modeline karar vermek yanıltıcı olabilir. Bence, önce veri kümesini ve özelliklerin birbirleriyle nasıl etkileşime girdiğini anlamalısınız ve modelleme için kullanılacak veri kümenizin iyi bir temsilini bulmalısınız. seçim.

Veri kümenizde yüksek bir boyutluluğa ve yüksek korelasyona sahip olduğunuzu varsayın, daha az önemli özellikleri daha fazla cezalandırdığından ve onları sıfırlayarak algoritmik özellik seçiminden fayda sağladığından, L1 (kement) düzenlemesini tercih etmek isteyebilirsiniz L2 (tepe) düzenlemesinden daha sağlam tahminler, ancak bazen bilgiye sahip olduklarında bile modelden belirli sinyalleri kaldırabilir, bu nedenle dikkatli kullanılmalıdır.

L2 düzenlileştirme, genel hataya daha az önemli özelliklerden daha fazla katkıda bulunan önemli özelliklere odaklanarak model karmaşıklığını ele alır. Ancak yine de, modeldeki daha az önemli özelliklerden gelen bilgileri kullanır. Farklı özellikler, genel hataya farklı bir şekilde katkıda bulunur ve doğal olarak, amacımız, hataya daha fazla katkıda bulunan önemli özelliklere, L2 (tepe) düzenlenmesi ile ele alınabilecek daha az önemli olanlardan daha fazla odaklanmaktır.