Adaboost boost tekniği nedir?

Takviye, farklı karar ağaçları oluşturarak ve daha sonra onları daha küçük paketlere ayırarak ve son olarak sonucumuzu almak için bu paketlerin oylarını alarak zayıf öğrenicilerin güçlü öğrenicilere göre önceliğini kullandığımız bir tür toplu öğrenme tekniğidir. Gerçekleştirilen farklı güçlendirme teknikleri vardır ve bunlardan bazıları Gradient Boosting, XG Boosting, Ada Boosting, Cat Boosting, vb.. Bunların hepsi aynı prensipte çalışır, ancak tüm bu güçlendirmelerin mekanizması farklı olabilir. bugün tartışacağız Ada desteği hepinize bu tekniğin içgörüleri hakkında daha iyi bir fikir vermek için.

Adaboost nedir?

Adaboost (Adaptive Boosting), başlangıçta örnek ağırlıklar atayarak ve karar ağaçlarını kullanarak genellikle zayıf öğrenicileri güçlü öğrenicilere dönüştürmeye çalıştığımız bir artırma tekniğidir. Numune ağırlıklarını atama formülü şunları içerir: 1/n Nereye n veri setindeki toplam kayıt sayısıdır. Adaboost’ta karar ağaçları aynı zamanda ilköğretim öğrencileri ve yalnızca derinliğini içermelidir 1 Ayrıca şöyle bilinir kütükler. Bu nedenle, veri setimizde bulunan özelliklere dayalı olarak birden çok karar ağacı yaparsak, daha düşük entropiye ve yüksek bilgi kazancına sahip en iyi karar ağacını kontrol edebiliriz. Şimdi, en iyi ağacı seçtikten sonra, ağacın hedeflere karşı gerçekleştirdiği sınıflandırmanın doğruluk derecesini görüyoruz. Ağacın kayıtların %90’ını doğru sınıflandırdığını ancak kalan %10’unu sınıflandırmadığını söylersek, yanlış sınıflandırılan model için toplam hatayı bulur ve hatayı azaltmak için ağırlıkları güncellemeye çalışırız.

AdaBoost, Decision Stumps ile nasıl çalışır? Karar kütükleri, rastgele bir ormandaki ağaçlar gibidir, ancak ‘tam olarak büyümüş’ değildir. Bir düğümü ve iki yaprağı vardır. AdaBoost, ağaçlar yerine bu tür bir sürü kütük kullanır.

Kütükler tek başına karar vermenin iyi bir yolu değildir. Olgun bir ağaç, hedef değeri tahmin etmek için tüm değişkenlerin kararlarını birleştirir. Öte yandan bir güdük, karar vermek için yalnızca bir değişkeni kullanabilir. Bir kişinin “fit” (sağlıklı) olup olmadığını belirlemek için farklı değişkenlere bakarak AdaBoost algoritmasının perde arkasını adım adım anlamaya çalışalım.

  Akıllı telefonlar yüzünden 20 şey daha az popüler veya kullanışlı hale geliyor
Adaboost (Uyarlanabilir Kazanç)
Görüntü kaynağı: blog.paperspace.com

Toplam hatayı bulmak için formül

Toplam hatalar / hayır. numune ağırlıkları.

Toplam hatayı bulduktan sonra, kullanarak güdük performansını bulmaya çalışıyoruz.

formül:

½ giriş yapmak(1-Toplam hata/Toplam hata)

Artık ağırlık güncellemesi yapıldığına göre, bu öyle bir şekilde yapılır ki biz

doğru sınıflandırılmış kayıtların ağırlığını azaltın ve yanlış sınıflandırılmış kayıtların ağırlığını artırın. Bu nedenle, ağırlıkları güncellemek için aşağıdaki durumlarda yanlış sınıflandırma formülünü kullanırız:

Geçen ağırlık * everim

Düzgün sınıflandırılması için, formül şöyle gider:

Geçen ağırlık * e-verim

Güncellenen ağırlıkları bulduktan sonra toplamın 1 olduğunu görürüz, eğer 1 değilse, güncellenen ağırlıkları toplamımız 1 olacak şekilde normalleştiririz. Normalleştirme formülü şu şekilde verilir:

Her biri güncel ağırlık değeri/güncel ağırlıkların değerlerinin toplamı

Bir sonraki adım, karar ağaçlarını oluşturma konseptini tekrar kullanmaktır, ancak bunu yapmak için, normalize edilmiş ağırlıkları, aşağıdaki gibi verilen belirli bir boyuta sahip kovalar şeklinde dağıtmamız gerekir. 0, toplama için ilk normalleştirilmiş değer ve ikinci normalleştirilmiş değer ağırlıkları vb.

Bundan sonra, model rasgele örneklenir ve örneğin hangi grupta yer aldığı kontrol edilir ve bu temelde yeni veri kümesi oluşturulur. Daha sonra yeni veri seti yine süreci durduracak ve ağırlık güncellemesi ile hata minimizasyonu gerçekleştirilecek ve tüm karar ağaçları kaplanana ve hata oranı minimize edilemeyene kadar süreç devam edecektir. Model, test veri setinin sınıflandırılması için artık kütüklere bakacak ve hedefin oylarının çoğunluğunu alacak ve çıktı olarak aynı sonucu döndürecek, regresyon durumunda ise esas olarak hepsinin ortalama değerini alacaktır. karar ağacının kütükleri ve kullanıcıya döndürülür.

Adaboost, kullanıcıların bir grup zayıf öğrenci belirlemesini gerektirir (veya gerçek öğrenme sürecinden önce rastgele bir grup zayıf öğrenci oluşturur). Güçlü bir öğrenici olmak için bu öğrenicileri eklemenin önemini öğretir. Her öğrencinin ağırlığı, bir örneği doğru tahmin edip etmediğine göre öğrenilir. Bir öğrenci bir numuneyi yanlış tahmin ederse, öğrencinin ağırlığı biraz azalır. Yakınsayana kadar böyle bir süreci tekrarlayacaktır. Adaboost’ta ağırlıklar güncellenirken kayıp ve performans dikkate alınan parametrelerdir.

  Kodlama olmadan Makine Öğrenimi: Azure ML'yi kullanmaya başlayın

Çözüm

Kaggle yarışmaları, Hackathon yarışmaları ile ilgileniyorsanız ve daha yüksek doğruluk istiyorsanız Ada Boosting tekniğini ve boosting algoritmalarını denemelisiniz çünkü bu algoritmalardaki yerleşik mekanizmalar sayesinde maksimum görevleri kendi başlarına yapabilirler.