Garfield
YZF Admin
AdamW, Adam optimizasyon algoritmasının ağırlık çürümesini (
Adam, her parametre için gradyanın hareketli ortalamasını ve gradyan karesinin hareketli ortalamasını tutarak öğrenme oranını parametreye göre uyarlar. Bu sayede farklı ölçeklerdeki parametrelerle çalışan modellerde genellikle düz SGD'ye göre daha dengeli güncelleme yapar.
Ağırlık çürümesi ise model parametrelerinin gereksiz büyümesini sınırlayan bir düzenlileştirme yöntemidir. Basit biçimde, her güncellemede parametrelerin bir bölümünü küçültür. AdamW'de bu küçültme, Adam'ın gradyan güncellemesinden ayrı uygulanır:
Burada
AdamW'deki “W”, ağırlık çürümesinin ayrıştırılmış uygulanmasını ifade eder. Bu nedenle AdamW yalnızca Adam'ın adının değiştirilmiş hâli değildir; parametre güncellemesinin düzenlileştirme kısmı farklı ele alınır.
İki yöntem de uyarlanabilir öğrenme oranı kullanır; ancak ağırlık çürümesinin uygulanma biçimi farklıdır. Karar verirken temel ayrım şudur: Modelde ağırlık çürümesi kullanmak istiyorsanız, bunu Adam'ın kayıp fonksiyonuna L2 cezası olarak eklemek yerine genellikle AdamW'nin ayrı
Bu tablo, AdamW'nin her modelde otomatik olarak daha iyi sonuç vereceği anlamına gelmez. Hangi optimizasyon yönteminin daha iyi olduğu; model mimarisine, veri kümesine, öğrenme oranına, parti büyüklüğüne ve düzenlileştirme değerine bağlıdır. AdamW'nin sağladığı temel avantaj, ağırlık çürümesi kullanılırken bu etkinin Adam'ın uyarlanabilir gradyan hesabından ayrılmasıdır.
Aşağıdaki örnek, bir modelin parametrelerini AdamW ile güncellemek için gereken en küçük kullanım biçimini gösterir. Model ve veri kümesi varsayımsaldır; örnek belirli bir başarı oranı vaat etmez.
Bu akışta
AdamW, kötü veriyi, hatalı etiketleri veya uygun olmayan model mimarisini düzeltmez. Ayrıca tek başına aşırı öğrenmeyi kesin olarak engellemez; yalnızca ağırlık çürümesi aracılığıyla bir düzenlileştirme etkisi sağlar. Eğitim kararsızsa önce kayıp hesaplamasını, etiket biçimini, gradyanların
Özetle, AdamW'yi Adam'ın uyarlanabilir güncellemesini kullanırken ağırlık çürümesini bu güncellemeden bağımsız uygulamak istediğinizde seçebilirsiniz. Başlangıçta makul bir öğrenme oranı ve küçük bir
weight decay) gradyan güncellemesinden ayıran sürümüdür. Bu ayrım, özellikle sinir ağlarını eğitirken düzenlileştirmeyi daha öngörülebilir hâle getirir. Pratikte AdamW kullanmak için optimizasyon aracında Adam yerine AdamW seçilir, öğrenme oranı ve weight_decay değerleri belirlenir; eğitim sırasında kaybın düşmesi tek başına doğru ayar yapıldığını kanıtlamadığı için doğrulama başarımı da izlenir.AdamW nasıl çalışır?
Adam, her parametre için gradyanın hareketli ortalamasını ve gradyan karesinin hareketli ortalamasını tutarak öğrenme oranını parametreye göre uyarlar. Bu sayede farklı ölçeklerdeki parametrelerle çalışan modellerde genellikle düz SGD'ye göre daha dengeli güncelleme yapar.
Ağırlık çürümesi ise model parametrelerinin gereksiz büyümesini sınırlayan bir düzenlileştirme yöntemidir. Basit biçimde, her güncellemede parametrelerin bir bölümünü küçültür. AdamW'de bu küçültme, Adam'ın gradyan güncellemesinden ayrı uygulanır:
θ ← θ - η · AdamGüncellemesi - η · λ · θBurada
θ parametreleri, η öğrenme oranını, λ ise weight_decay katsayısını temsil eder. Böylece weight_decay değerinin etkisi, Adam'ın gradyan ölçekleme hesaplarıyla birbirine karışmaz.AdamW'deki “W”, ağırlık çürümesinin ayrıştırılmış uygulanmasını ifade eder. Bu nedenle AdamW yalnızca Adam'ın adının değiştirilmiş hâli değildir; parametre güncellemesinin düzenlileştirme kısmı farklı ele alınır.
Adam ile AdamW arasındaki fark
İki yöntem de uyarlanabilir öğrenme oranı kullanır; ancak ağırlık çürümesinin uygulanma biçimi farklıdır. Karar verirken temel ayrım şudur: Modelde ağırlık çürümesi kullanmak istiyorsanız, bunu Adam'ın kayıp fonksiyonuna L2 cezası olarak eklemek yerine genellikle AdamW'nin ayrı
weight_decay parametresini tercih edersiniz.| Ölçüt | Adam | AdamW |
|---|---|---|
| Gradyan güncellemesi | Uyarlanabilir moment hesapları kullanır. | Uyarlanabilir moment hesaplarına ek olarak ayrıştırılmış ağırlık çürümesi uygular. |
| Ağırlık çürümesi | L2 cezasıyla karıştırılabilir veya kayıp fonksiyonuna eklenebilir. | Ayrı weight_decay adımıyla uygulanır. |
| Kullanım amacı | Genel amaçlı uyarlanabilir optimizasyon. | Uyarlanabilir optimizasyon ile düzenlileştirmeyi birlikte kullanma. |
| Ayarlanacak temel değerler | lr, momentum katsayıları ve varsa L2 katsayısı. | lr ve weight_decay; diğer AdamW seçenekleri kullanılan kütüphaneye bağlıdır. |
Küçük bir PyTorch örneği
Aşağıdaki örnek, bir modelin parametrelerini AdamW ile güncellemek için gereken en küçük kullanım biçimini gösterir. Model ve veri kümesi varsayımsaldır; örnek belirli bir başarı oranı vaat etmez.
Python:
import torch
model = torch.nn.Linear(10, 2)
optimizer = torch.optim.AdamW(
model.parameters(),
lr=1e-3,
weight_decay=1e-4
)
inputs = torch.randn(8, 10)
targets = torch.randint(0, 2, (8,))
outputs = model(inputs)
loss = torch.nn.functional.cross_entropy(outputs, targets)
optimizer.zero_grad()
loss.backward()
optimizer.step()
print(float(loss))Bu akışta
loss.backward() gradyanları hesaplar, optimizer.step() ise AdamW'nin parametre güncellemesini ve ağırlık çürümesini uygular. Çıktıda tek bir kayıp değeri görülmesi kodun çalıştığını gösterir; fakat modelin genelleme yaptığını göstermez. Bunun için ayrı bir doğrulama verisiyle kayıp veya görev metriği izlenmelidir.Değerleri seçerken dikkat edilmesi gerekenler
- Öğrenme oranını ayrı düşünün. Öğrenme oranı çok yüksekse modelin kaybı dalgalanabilir; çok düşükse eğitim yavaşlayabilir. Bu sorun doğrudan
weight_decaydeğerinin hatalı olduğunu kanıtlamaz. - Ağırlık çürümesini düzenlileştirme olarak değerlendirin. Değerin artırılması parametrelerin küçülmesini güçlendirir; ancak aşırı değer modelin öğrenmesini kısıtlayabilir.
- Eğitim ve doğrulama sonuçlarını birlikte izleyin. Eğitim kaybı düşerken doğrulama başarımı düşüyorsa aşırı öğrenme veya uygunsuz hiperparametreler söz konusu olabilir; yalnız eğitim kaybına bakarak karar vermeyin.
- Her parametreyi aynı şekilde düzenlemeyin. Bazı mimarilerde normalizasyon parametreleri veya yanlılık terimleri için ağırlık çürümesi kullanılmaması tercih edilebilir. Böyle bir parametre gruplaması yapacaksanız kullandığınız çerçevenin optimizer arayüzündeki parametre grubu kurallarını izleyin.
AdamW neyi çözmez?
AdamW, kötü veriyi, hatalı etiketleri veya uygun olmayan model mimarisini düzeltmez. Ayrıca tek başına aşırı öğrenmeyi kesin olarak engellemez; yalnızca ağırlık çürümesi aracılığıyla bir düzenlileştirme etkisi sağlar. Eğitim kararsızsa önce kayıp hesaplamasını, etiket biçimini, gradyanların
None kalıp kalmadığını, öğrenme oranını ve doğrulama ölçümünü ayrı ayrı kontrol etmek gerekir.Özetle, AdamW'yi Adam'ın uyarlanabilir güncellemesini kullanırken ağırlık çürümesini bu güncellemeden bağımsız uygulamak istediğinizde seçebilirsiniz. Başlangıçta makul bir öğrenme oranı ve küçük bir
weight_decay ile deney yapıp eğitim ve doğrulama metriklerini birlikte karşılaştırmak, tek bir değeri körlemesine artırmaktan daha güvenilir bir yaklaşımdır.