Embedding matrisi nedir?

Embedding matrisi, sözcükleri veya diğer ayrık öğeleri makine öğrenmesi modelinin işleyebileceği sayısal vektörlere dönüştüren, eğitilebilir bir ağırlık tablosudur. Her satır bir öğenin kimliğine, her sütun ise o öğeyi temsil eden bir sayısal boyuta karşılık gelir. Örneğin 10.000 sözcüklük bir sözlük ve 256 boyutlu temsil kullanıyorsanız embedding matrisi 10.000 × 256 boyutunda olur. Bir sözcüğün embedding'ini elde etmek için genellikle matristeki ilgili satır seçilir. Matris eğitime açıksa ağırlıkları görevdeki kayıp fonksiyonuna göre güncellenir; benzer anlam veya kullanım taşıyan öğelerin yakın vektörler edinmesi eğitim amacına ve veriye bağlıdır.

Embedding matrisi nasıl çalışır?​

Önce her öğeye bir tam sayı kimliği atanır. Varsayımsal bir sözlükte "kedi" 0, "köpek" 1 ve "uçak" 2 kimliğine sahip olsun. Başlangıçta matris değerleri çoğunlukla küçük rastgele sayılardır:


Burada matrisin boyutu 3 × 4'tür: üç öğe ve her öğe için dört sayısal boyut vardır. Girdi kimliği 1 ise model ikinci satırı seçer ve "köpek" için [0.10, -0.02, 0.29, 0.11] vektörünü kullanır. Bu sayılar tek başına insan tarafından okunabilir özellikler değildir; örneğin ilk sütunun kesin olarak "hayvanlık" anlamına geldiği varsayılamaz. Anlam, eğitim verisi ve modelin kullandığı kayıp fonksiyonu tarafından öğrenilir.

Matematiksel olarak embedding matrisi E ∈ R^(V×D) şeklinde gösterilebilir. V sözlükteki öğe sayısını, D ise her embedding'in boyutunu belirtir. Kimliği i olan öğenin embedding'i E[i] satırıdır. One-hot gösterim kullanılırsa aynı işlem, one-hot vektörün embedding matrisiyle çarpılması olarak yazılabilir; bu çarpım pratikte yalnızca ilgili satırın seçilmesine eşdeğerdir.

Embedding matrisi, vektör ve one-hot gösterim farkı​

Bu terimler sıkça birbirinin yerine kullanılsa da aynı şeyi anlatmaz. Aşağıdaki ayrım, modelin hangi veriyi taşıdığını anlamayı kolaylaştırır.
One-hot vektörler öğeler arasındaki benzerliği kendiliğinden göstermez: "kedi" ve "köpek" için iki farklı kimlik vardır, fakat bu iki kimliğin birbirine yakın olduğuna dair sayısal bir bilgi yoktur. Embedding matrisi ise eğitim sonucunda bu öğeleri benzer bağlamlarda kullanıldıkları ölçüde birbirine yakın vektörlere dönüştürebilir. Böylece sınıflandırma, metin üretimi, öneri sistemleri ve arama gibi görevlerde model yalnızca kimliği değil, öğrenilmiş ilişkileri de kullanır.

Somut örnek: sözcük kimliğinden vektöre​

Varsayımsal olarak aşağıdaki embedding matrisinin eğitilmiş olduğunu düşünün:


Girdi kimlikleri [0, 1, 2] olduğunda model sırasıyla şu embedding'leri alır:


İlk iki satırın birbirine daha yakın olması, bu örnekte "kedi" ile "köpek" sözcüklerinin model tarafından benzer bağlamlarda değerlendirildiğini gösterir. "Uçak" vektörünün onlardan uzak olması ise farklı bir kullanım örüntüsüne işaret eder. Bu yakınlık, genellikle kosinüs benzerliği veya Öklid uzaklığı gibi ölçülerle hesaplanır; ancak yalnızca iki vektörün yakın olması, sözcüklerin her bağlamda eş anlamlı veya birbirinin yerine kullanılabileceğini kanıtlamaz.

Embedding matrisi nerede kullanılır?​

Bir sinir ağında embedding matrisi, sözcük, kullanıcı, ürün, kategori veya başka bir ayrık kimliği yoğun sayısal temsile çevirmek için kullanılır. Metin modellerinde sözcük ya da alt sözcük kimlikleri; öneri sistemlerinde kullanıcı ve ürün kimlikleri; kategorik veri modellerinde şehir, cihaz türü veya ürün kategorisi gibi değerler embedding katmanına verilebilir.

Embedding boyutu seçilirken sözlükteki öğe sayısı, eğitim verisinin büyüklüğü ve görevin karmaşıklığı birlikte düşünülür. Boyutun çok küçük olması ilişkileri ifade etmek için yetersiz kalabilir. Gereğinden büyük boyut ise daha fazla bellek ve hesaplama gerektirebilir, ayrıca az verili görevlerde aşırı öğrenmeye yol açabilir. Matrisin parametre sayısı doğrudan V × D kadardır; örneğin 500.000 öğe ve 768 boyut kullanılırsa yalnızca embedding matrisi 384 milyon parametre içerir.

Embedding matrisi neyi garanti etmez?​

Embedding'ler anlamın eksiksiz bir sözlük karşılığı değildir. Vektörler eğitim verisindeki kullanım örüntülerini yansıtır; bu nedenle veri yetersiz, dengesiz veya yanlıysa temsil de bu sorunları taşıyabilir. Ayrıca yakın vektörler nedensellik, doğruluk veya etik uygunluk kanıtı değildir. Bir embedding aramasında iki öğenin birbirine yakın çıkması, aralarında gerçek dünyada doğrudan ilişki bulunduğunu göstermez.

Yeni ve eğitim sırasında görülmemiş bir öğe için modelin nasıl davranacağı kullanılan yönteme bağlıdır. Sabit bir sözlük kullanan basit sistemler bilinmeyen öğeyi özel bir UNK kimliğine eşleyebilir. Alt sözcük veya karakter tabanlı yöntemler ise öğeyi daha küçük parçalardan oluşturmaya çalışabilir. Bu ayrım, özellikle yeni ürünler, yeni kullanıcılar ve yazım hataları içeren verilerde sonucu etkiler.

Embedding matrisiyle çalışırken temel kontrol şudur: matristeki satır sayısı sözlükteki kimlik sayısıyla, sütun sayısı ise modelin beklediği embedding boyutuyla uyumlu olmalıdır. Kimlik aralık dışındaysa indeksleme hatası; boyut beklenenden farklıysa sonraki katmanda şekil uyuşmazlığı oluşur. Vektör benzerliğini yorumlarken de yalnızca mesafeye değil, kullanılan veri kümesine, eğitim amacına ve görevdeki gerçek performansa bakılmalıdır.