Ablation çalışması nedir?

Ablation çalışması, bir makine öğrenmesi sistemindeki bileşenleri tek tek çıkararak veya devre dışı bırakarak hangi parçanın sonuca ne kadar katkı sağladığını ölçme yöntemidir. Örneğin bir model üç özellik, bir veri artırma yöntemi ve bir dikkat mekanizması kullanıyorsa, her denemede yalnızca birini kaldırıp aynı veri, eğitim ayarları ve değerlendirme ölçütleriyle sonucu karşılaştırırsınız. Böylece modelin gerçekten hangi bileşen sayesinde iyileştiğini, hangi parçanın etkisiz veya gereksiz olabileceğini ve başarının başka bir ayardan kaynaklanıp kaynaklanmadığını daha güvenilir biçimde anlarsınız.

Ablation çalışması nasıl düşünülür?​

Temel model, bütün bileşenlerin birlikte çalıştığı başlangıç sürümüdür. Ablation denemesinde bu modelden yalnızca bir bileşen çıkarılır. Temel modelin başarımı ile bileşeni çıkarılmış modelin başarımı arasındaki fark, o bileşenin katkısı hakkında fikir verir.

Örneğin bir sınıflandırma modeli şu bileşenlere sahip olsun:

• Kelime gömme katmanı
• Veri artırma
• Dikkat mekanizması
• Düzenlileştirme yöntemi

Tam model doğrulukta yüzde 88 başarı gösterirken dikkat mekanizması çıkarıldığında sonuç yüzde 84'e düşüyorsa, bu denemede dikkat mekanizmasının katkısı yaklaşık 4 puandır. Bu değer, bileşenin tek başına yüzde 4 doğruluk ürettiği anlamına gelmez; yalnızca diğer koşullar sabitken çıkarılmasının ölçülen sonucu bu kadar değiştirdiğini gösterir.

Uygulama düzeni​

Ablation çalışmasında en önemli koşul, karşılaştırılan denemeler arasında değişkenleri mümkün olduğunca sabit tutmaktır. Aynı eğitim ve doğrulama verilerini, aynı test kümesini, aynı değerlendirme ölçütünü, benzer eğitim süresini ve aynı rastgelelik ayarını kullanın. Aksi hâlde ölçülen farkın bileşenden mi, yoksa farklı bir eğitim koşulundan mı kaynaklandığını ayırt edemezsiniz.

1. Tam modeli tanımlayın. Kullanılan bütün bileşenleri, veri kümesini, eğitim ayarlarını ve değerlendirme ölçütünü kaydedin. Bu model karşılaştırmanın başlangıç noktasıdır.
2. Tek bir bileşen seçin. Örneğin yalnızca veri artırmayı devre dışı bırakın; aynı denemede öğrenme oranını, veri bölünmesini veya model mimarisini değiştirmeyin.
3. Modeli yeniden eğitin ve aynı ölçütle değerlendirin. Bileşen veya ayar seçimini aynı doğrulama kümesinde yapın. Önceden belirlenmiş son karşılaştırmaları aynı test kümesinde raporlayabilirsiniz; test sonuçlarına bakarak bileşenleri tekrar tekrar seçmeyin.
4. Farkı temel modele göre hesaplayın. Temel model doğruluğu 0,88 ve bileşensiz model doğruluğu 0,84 ise fark 0,04'tür; yani 4 yüzde puanlık düşüş gözlenmiştir.
5. Denemeyi tekrarlayın. Özellikle eğitim rastgeleliğe duyarlıysa tek çalıştırmadan kesin sonuç çıkarmayın. Birden fazla çalıştırmanın ortalamasını ve değişkenliğini raporlamak daha güvenilir olur.

Sonuçları aşağıdaki gibi düzenleyebilirsiniz:
Bu örnekte dikkat mekanizmasının çıkarılması en büyük düşüşü oluşturduğu için en yüksek katkıya sahip adaydır. Ancak bu tablo, dikkat mekanizmasının her veri kümesinde en önemli bileşen olduğunu kanıtlamaz. Sonuç yalnızca kullanılan veri, model, eğitim ayarları ve değerlendirme koşulları için geçerlidir. Farklar küçükse veya tekrarlanan çalıştırmalarda değişiyorsa bileşenler arasındaki katkı kesin biçimde ayrışmıyor olabilir.

Tekli ve birleşik ablation arasındaki fark​

Tekli ablation, her seferinde yalnızca bir bileşeni çıkarır. Bu yöntem hızlı ve anlaşılırdır; fakat bileşenlerin birlikte oluşturduğu etkileşimi her zaman göstermez. Örneğin veri artırma tek başına az katkı sağlarken dikkat mekanizmasıyla birlikte kullanıldığında büyük katkı sağlayabilir.

Birleşik ablation ise iki veya daha fazla bileşeni aynı denemede çıkarır. Bu yaklaşım etkileşimleri incelemeye yardımcı olur, ancak deneme sayısı arttığı için yorumlamak ve kontrol etmek zorlaşır. Bu nedenle önce temel model ve tekli ablation sonuçları raporlanmalı, yalnızca önemli görünen etkileşimler için birleşik denemeler yapılmalıdır.

Sonuçları yorumlarken sınırlar​

Bir bileşenin çıkarılması model başarımını düşürüyorsa bu, bileşenin mevcut sistem içinde yararlı olduğunu gösterir; bileşenin teorik olarak zorunlu olduğunu göstermez. Aynı işlev başka bir bileşen tarafından kısmen karşılanıyor olabilir. Tersine, çıkarılan bileşen sonucu değiştirmiyorsa tamamen işe yaramaz olduğu sonucuna hemen varılamaz. Veri kümesi küçük olabilir, ölçüt bu farkı yansıtmayabilir veya bileşenin etkisi başka bir ayarla örtüşüyor olabilir.

Ablation raporunda model sürümünü, çıkarılan bileşeni, değişmeden tutulan ayarları, veri bölünmesini, değerlendirme ölçütünü, tekrar sayısını ve ortalama sonuçları belirtin. Sonuçlar çelişkiliyse denemeyi aynı koşullarla yeniden çalıştırın; ardından bileşenin etkisini tek bir sayı yerine ortalama, değişkenlik ve mümkünse farklı değerlendirme ölçütleriyle birlikte değerlendirin.