Garfield
YZF Admin
Derin öğrenmede “algoritma” modelin nasıl öğrendiğini, “mimari” ise verinin model içinde hangi katmanlardan ve bağlantılardan geçtiğini anlatır. En yaygın yaklaşım; probleme göre uygun mimariyi seçmek, eğitim algoritmasıyla ağırlıkları güncellemek ve doğrulama verisiyle modelin genelleme başarısını ölçmektir. Görüntüde CNN, sıralı veride RNN veya Transformer, üretici görevlerde VAE, GAN veya difüzyon modeli, genel amaçlı büyük metin modellerinde ise Transformer tabanlı mimariler öne çıkar.
Bir sinir ağı, girdiyi katmanlar üzerinden geçirerek çıktı üretir. Eğitim sırasında tahmin ile gerçek sonuç arasındaki farkı gösteren kayıp değeri hesaplanır. Geri yayılım, bu hatanın ağın hangi ağırlıklarını ne kadar etkilediğini bulur; eniyileme algoritması da ağırlıkları günceller.
Örneğin bir model, bir görüntünün kedi olup olmadığını tahmin ediyorsa mimari; evrişim katmanları, havuzlama katmanları ve sınıflandırma katmanlarından oluşabilir. Öğrenme algoritması ise kaybı azaltmak için ağırlıkların nasıl değiştirileceğini belirler. Bu nedenle Adam veya SGD birer eniyileme algoritmasıdır; CNN ve Transformer ise model mimarisidir.
İleri beslemeli ağlarda veri girişten çıkışa doğru ilerler; katmanlar arasında geriye doğru döngü bulunmaz. Tam bağlantılı katmanlardan oluşan çok katmanlı algılayıcılar, tablo biçimindeki verilerde ve temel sınıflandırma ya da regresyon problemlerinde kullanılabilir.
Girdi olarak yaş, gelir ve işlem sayısı verildiğinde model bir müşterinin belirli bir davranışı gösterme olasılığını üretebilir. Bu mimari, görüntüdeki komşuluk ilişkilerini veya metindeki kelime sırasını kendiliğinden iyi temsil etmez; bu tür verilerde özel mimariler genellikle daha uygundur.
CNN mimarisi görüntü, video karesi ve bazı uzamsal sinyallerdeki yerel örüntüleri yakalamak için evrişim katmanlarını kullanır. İlk katmanlar kenar ve basit şekilleri, daha derin katmanlar ise nesne parçaları ve karmaşık biçimleri öğrenebilir. Havuzlama veya benzeri boyut azaltma işlemleri hesaplama yükünü düşürmeye yardımcı olur.
Bir görüntü sınıflandırma modelinde girdi 224×224 piksellik bir görüntü, çıktı ise “kedi” ve “köpek” sınıflarına ait olasılıklar olabilir. En yüksek olasılık köpek sınıfındaysa modelin tahmini köpektir; bu sonuç modelin her görüntüde doğru olduğu anlamına gelmez. Karar için doğrulama ve test sonuçları ayrıca incelenmelidir.
RNN mimarileri, önceki zaman adımlarından gelen bilgiyi sonraki adımlara taşıyarak sıralı verileri işler. LSTM ve GRU, uzun dizilerde bilginin daha iyi korunmasına yardımcı olmak amacıyla kapı mekanizmaları kullanır. Zaman serileri, sensör akışları ve kısa metin dizileri gibi sıralı problemlerde tercih edilebilirler.
RNN tabanlı bir satış tahmini modeline geçmiş günlerin satışları verildiğinde model sonraki gün için sayısal bir tahmin üretebilir. Ancak uzun dizilerde eğitim maliyeti ve uzak bağımlılıkları öğrenme kapasitesi, Transformer tabanlı modellere göre sınırlı kalabilir.
Transformer, dizideki öğelerin birbirleriyle ilişkisini dikkat mekanizmasıyla hesaplar. Bir kelimenin anlamını yalnızca hemen önceki kelimelerden değil, dizinin daha uzak bölümlerindeki kelimelerden gelen bilgilerle de değerlendirebilir. Bu nedenle metin üretimi, çeviri, özetleme, soru yanıtlama ve birçok görsel ya da çok kipli görevde kullanılır.
Encoder ağırlıklı Transformer modelleri metni sınıflandırma ve temsil çıkarma gibi işlerde, decoder ağırlıklı modeller metin üretiminde, encoder-decoder yapıları ise çeviri ve metinden metne dönüşüm görevlerinde kullanılabilir. Büyük model boyutu daha yüksek kapasite sağlayabilir; fakat bellek, hesaplama maliyeti, veri kalitesi ve gecikme gereksinimleri de artar.
Otokodlayıcı, girdiyi bir gizil temsile kodlayıp bu temsilden yeniden oluşturmaya çalışır. Temsilin daha küçük boyutlu olması yaygın bir darboğaz seçimidir; tüm otokodlayıcılarda zorunlu değildir. Kodlayıcı ve kod çözücüyle gürültü giderme, boyut azaltma, anomali tespiti ve temsil öğrenme yapılabilir. Varyasyonel otokodlayıcı (VAE), düzenlenmiş bir gizil olasılık dağılımı öğrenir; bu dağılımdan örnek alarak yeni çıktılar üretmek için kullanılabilir. Standart yeniden oluşturma otokodlayıcısının her zaman bu tür bir örnekleme modeli olduğu varsayılmamalıdır.
Model normal işlem kayıtlarıyla eğitildiğinde, normal bir kaydı düşük yeniden oluşturma hatasıyla üretmesi beklenir. Olağandışı bir kayıt yüksek hata oluşturabilir; ancak bu durum tek başına güvenlik ihlalini kanıtlamaz. Eşik değeri doğrulama verisiyle belirlenmeli ve alan bilgisiyle birlikte değerlendirilmelidir.
GAN, gerçek veriye benzeyen yeni örnekler üretmeye çalışan bir üretici ile üretilen örnekleri ayırt etmeye çalışan bir ayırt ediciyi birlikte eğitir. Eğitim dengesi zor olabilir; üretilen örneklerde çeşitlilik azalabilir.
Difüzyon modelleri ise genellikle gürültüden başlayıp adım adım daha anlamlı bir örnek oluşturur. Görüntü üretimi, düzenleme ve koşullu içerik oluşturma gibi görevlerde kullanılabilir. Üretilen içeriğin gerçek, doğru veya telifsiz olduğu sonucu yalnızca model çıktısından çıkarılamaz.
Farklı veri türleri için ilk mimari seçimini aşağıdaki gibi düşünebilirsiniz:
Bir mimari seçildikten sonra ağırlıkların nasıl güncelleneceği belirlenir. En yaygın yöntemler şunlardır:
Önce girdinin türünü ve çıktının biçimini belirleyin. Tek satırlı tablo verisi için gereksiz yere Transformer kullanmak, küçük bir görüntü veri kümesi için çok büyük bir model seçmek veya sınıf dengesizliğinde yalnızca doğruluğa bakmak hatalı sonuçlara yol açabilir.
Ardından basit bir temel model kurup doğrulama sonucunu ölçün. Veri azsa daha küçük bir mimari, düzenlileştirme, erken durdurma veya önceden eğitilmiş bir modelden yararlanma daha uygun olabilir. Veri sızıntısını önlemek için test verisi eğitim ve ayar sürecinde kullanılmamalıdır.
Son olarak yalnızca eğitim başarısına bakmayın. Eğitim doğruluğu yüksek, doğrulama doğruluğu düşükse model büyük olasılıkla eğitim verisini ezberliyordur. Her ikisi de düşükse model kapasitesi, veri temsili, kayıp fonksiyonu veya eğitim ayarları yetersiz olabilir. Doğrulama başarısı iyi olsa bile gerçek kullanım verisinin dağılımı farklıysa üretimde aynı sonucu vermesi garanti değildir.
Algoritma ile mimari arasındaki fark
Bir sinir ağı, girdiyi katmanlar üzerinden geçirerek çıktı üretir. Eğitim sırasında tahmin ile gerçek sonuç arasındaki farkı gösteren kayıp değeri hesaplanır. Geri yayılım, bu hatanın ağın hangi ağırlıklarını ne kadar etkilediğini bulur; eniyileme algoritması da ağırlıkları günceller.
Örneğin bir model, bir görüntünün kedi olup olmadığını tahmin ediyorsa mimari; evrişim katmanları, havuzlama katmanları ve sınıflandırma katmanlarından oluşabilir. Öğrenme algoritması ise kaybı azaltmak için ağırlıkların nasıl değiştirileceğini belirler. Bu nedenle Adam veya SGD birer eniyileme algoritmasıdır; CNN ve Transformer ise model mimarisidir.
Başlıca derin öğrenme mimarileri
İleri beslemeli sinir ağları
İleri beslemeli ağlarda veri girişten çıkışa doğru ilerler; katmanlar arasında geriye doğru döngü bulunmaz. Tam bağlantılı katmanlardan oluşan çok katmanlı algılayıcılar, tablo biçimindeki verilerde ve temel sınıflandırma ya da regresyon problemlerinde kullanılabilir.
Girdi olarak yaş, gelir ve işlem sayısı verildiğinde model bir müşterinin belirli bir davranışı gösterme olasılığını üretebilir. Bu mimari, görüntüdeki komşuluk ilişkilerini veya metindeki kelime sırasını kendiliğinden iyi temsil etmez; bu tür verilerde özel mimariler genellikle daha uygundur.
Evrişimli sinir ağları (CNN)
CNN mimarisi görüntü, video karesi ve bazı uzamsal sinyallerdeki yerel örüntüleri yakalamak için evrişim katmanlarını kullanır. İlk katmanlar kenar ve basit şekilleri, daha derin katmanlar ise nesne parçaları ve karmaşık biçimleri öğrenebilir. Havuzlama veya benzeri boyut azaltma işlemleri hesaplama yükünü düşürmeye yardımcı olur.
Bir görüntü sınıflandırma modelinde girdi 224×224 piksellik bir görüntü, çıktı ise “kedi” ve “köpek” sınıflarına ait olasılıklar olabilir. En yüksek olasılık köpek sınıfındaysa modelin tahmini köpektir; bu sonuç modelin her görüntüde doğru olduğu anlamına gelmez. Karar için doğrulama ve test sonuçları ayrıca incelenmelidir.
Tekrarlayan sinir ağları (RNN), LSTM ve GRU
RNN mimarileri, önceki zaman adımlarından gelen bilgiyi sonraki adımlara taşıyarak sıralı verileri işler. LSTM ve GRU, uzun dizilerde bilginin daha iyi korunmasına yardımcı olmak amacıyla kapı mekanizmaları kullanır. Zaman serileri, sensör akışları ve kısa metin dizileri gibi sıralı problemlerde tercih edilebilirler.
RNN tabanlı bir satış tahmini modeline geçmiş günlerin satışları verildiğinde model sonraki gün için sayısal bir tahmin üretebilir. Ancak uzun dizilerde eğitim maliyeti ve uzak bağımlılıkları öğrenme kapasitesi, Transformer tabanlı modellere göre sınırlı kalabilir.
Transformer mimarileri
Transformer, dizideki öğelerin birbirleriyle ilişkisini dikkat mekanizmasıyla hesaplar. Bir kelimenin anlamını yalnızca hemen önceki kelimelerden değil, dizinin daha uzak bölümlerindeki kelimelerden gelen bilgilerle de değerlendirebilir. Bu nedenle metin üretimi, çeviri, özetleme, soru yanıtlama ve birçok görsel ya da çok kipli görevde kullanılır.
Encoder ağırlıklı Transformer modelleri metni sınıflandırma ve temsil çıkarma gibi işlerde, decoder ağırlıklı modeller metin üretiminde, encoder-decoder yapıları ise çeviri ve metinden metne dönüşüm görevlerinde kullanılabilir. Büyük model boyutu daha yüksek kapasite sağlayabilir; fakat bellek, hesaplama maliyeti, veri kalitesi ve gecikme gereksinimleri de artar.
Otokodlayıcılar ve varyasyonel otokodlayıcılar
Otokodlayıcı, girdiyi bir gizil temsile kodlayıp bu temsilden yeniden oluşturmaya çalışır. Temsilin daha küçük boyutlu olması yaygın bir darboğaz seçimidir; tüm otokodlayıcılarda zorunlu değildir. Kodlayıcı ve kod çözücüyle gürültü giderme, boyut azaltma, anomali tespiti ve temsil öğrenme yapılabilir. Varyasyonel otokodlayıcı (VAE), düzenlenmiş bir gizil olasılık dağılımı öğrenir; bu dağılımdan örnek alarak yeni çıktılar üretmek için kullanılabilir. Standart yeniden oluşturma otokodlayıcısının her zaman bu tür bir örnekleme modeli olduğu varsayılmamalıdır.
Model normal işlem kayıtlarıyla eğitildiğinde, normal bir kaydı düşük yeniden oluşturma hatasıyla üretmesi beklenir. Olağandışı bir kayıt yüksek hata oluşturabilir; ancak bu durum tek başına güvenlik ihlalini kanıtlamaz. Eşik değeri doğrulama verisiyle belirlenmeli ve alan bilgisiyle birlikte değerlendirilmelidir.
GAN ve difüzyon tabanlı üretici modeller
GAN, gerçek veriye benzeyen yeni örnekler üretmeye çalışan bir üretici ile üretilen örnekleri ayırt etmeye çalışan bir ayırt ediciyi birlikte eğitir. Eğitim dengesi zor olabilir; üretilen örneklerde çeşitlilik azalabilir.
Difüzyon modelleri ise genellikle gürültüden başlayıp adım adım daha anlamlı bir örnek oluşturur. Görüntü üretimi, düzenleme ve koşullu içerik oluşturma gibi görevlerde kullanılabilir. Üretilen içeriğin gerçek, doğru veya telifsiz olduğu sonucu yalnızca model çıktısından çıkarılamaz.
Farklı veri türleri için ilk mimari seçimini aşağıdaki gibi düşünebilirsiniz:
| Veri veya görev | Uygun başlangıç mimarisi | Temel gerekçe |
|---|---|---|
| Tablo verisi | İleri beslemeli ağ | Sayısal ve kategorik özellikleri katmanlar üzerinden işler. |
| Görüntü sınıflandırma | CNN veya görsel Transformer | Uzamsal örüntüleri ve nesne parçalarını öğrenir. |
| Zaman serisi | RNN, LSTM, GRU veya Transformer | Zaman içindeki bağımlılıkları kullanır. |
| Metin sınıflandırma | Transformer encoder | Kelime ve cümle bağlamını birlikte değerlendirir. |
| Metin üretimi | Transformer decoder | Önceki içerikten sonraki öğeyi üretir. |
| Anomali tespiti | Otokodlayıcı | Normal örnekleri yeniden oluşturma hatası üzerinden ayırabilir. |
| Yeni içerik üretimi | GAN veya difüzyon modeli | Öğrenilen dağılıma benzer yeni örnekler oluşturur. |
Eğitimde kullanılan başlıca algoritmalar
Bir mimari seçildikten sonra ağırlıkların nasıl güncelleneceği belirlenir. En yaygın yöntemler şunlardır:
- SGD: Kayıp fonksiyonunu küçültmek için gradyanın ters yönünde adım atar. Öğrenme oranı ve mini yığın seçimi sonucu güçlü biçimde etkiler.
- Momentumlu SGD: Önceki güncellemelerin yönünü de kullanarak salınımı azaltmayı ve daha hızlı ilerlemeyi amaçlar.
- RMSProp: Parametrelerin gradyan büyüklüklerine göre uyarlamalı adımlar kullanır.
- Adam: Gradyanların hareketli ortalamasını ve karelerinin hareketli ortalamasını birlikte kullanır. Genel bir başlangıç seçeneği olabilir; her problemde en iyi sonucu vereceği garanti edilmez.
- Kayıp fonksiyonu: Sınıflandırmada çapraz entropi, sayısal tahminde ortalama kare hata gibi probleme uygun bir hata ölçüsü seçilir.
Mimari seçerken izlenecek yol
Önce girdinin türünü ve çıktının biçimini belirleyin. Tek satırlı tablo verisi için gereksiz yere Transformer kullanmak, küçük bir görüntü veri kümesi için çok büyük bir model seçmek veya sınıf dengesizliğinde yalnızca doğruluğa bakmak hatalı sonuçlara yol açabilir.
Ardından basit bir temel model kurup doğrulama sonucunu ölçün. Veri azsa daha küçük bir mimari, düzenlileştirme, erken durdurma veya önceden eğitilmiş bir modelden yararlanma daha uygun olabilir. Veri sızıntısını önlemek için test verisi eğitim ve ayar sürecinde kullanılmamalıdır.
Son olarak yalnızca eğitim başarısına bakmayın. Eğitim doğruluğu yüksek, doğrulama doğruluğu düşükse model büyük olasılıkla eğitim verisini ezberliyordur. Her ikisi de düşükse model kapasitesi, veri temsili, kayıp fonksiyonu veya eğitim ayarları yetersiz olabilir. Doğrulama başarısı iyi olsa bile gerçek kullanım verisinin dağılımı farklıysa üretimde aynı sonucu vermesi garanti değildir.
Sık sorulan sorular
CNN yerine Transformer ne zaman seçilir?
Görüntüde yerel örüntüler ve sınırlı veri ön plandaysa CNN iyi bir başlangıçtır. Daha büyük veri kümelerinde uzun menzilli ilişkileri veya farklı veri türlerini birlikte modellemek gerekiyorsa görsel Transformer değerlendirilebilir. Seçim, yalnızca mimarinin popülerliğine değil, veri miktarı, hesaplama bütçesi ve doğrulama sonuçlarına göre yapılmalıdır.
En iyi derin öğrenme algoritması hangisidir?
Tek bir en iyi algoritma yoktur. Uygun seçim veri türüne, hedef çıktıya, veri miktarına, hata maliyetine, gecikme sınırına ve kullanılabilir donanıma bağlıdır. Aynı mimari için farklı eniyileme ve kayıp fonksiyonlarını kontrollü biçimde karşılaştırmak gerekir.
