Embedding modeli değiştiğinde mevcut belge vektörlerini aynı dizinde kullanmaya devam etmek güvenilir değildir. Sorgu ve belge vektörlerinin aynı temsil düzeninde üretilmesi gerekir. Boyutların eşit olması da tek başına uyum sağlamaz; iki farklı model aynı sayıda değer üretse bile bu değerlerin anlamı farklı olabilir.
Yeni model daha iyi sonuç veriyor diye bütün ayarları aynı anda değiştirmeyin. Parça boyutu, arama yöntemi ve embedding modelini birlikte değiştirirseniz iyileşmenin veya bozulmanın nedenini anlayamazsınız. Her karşılaştırmada aynı belge ve soruları kullanıp doğru parçanın bulunmasını esas alın.
Sohbet modeliyle embedding modelini ayırın
Sohbet modeli cevabı yazar. Embedding modeli ise metni benzerlik araması için sayısal bir temsile dönüştürür. Yalnız cevap yazan modeli değiştirmek her zaman belge dizinini değiştirmez; embedding modelini değiştirmek arama katmanını doğrudan etkiler. Hangi ayarın değiştiğini önce belirleyin.Geçişi ayrı bir dizinde doğrulayın
- Mevcut yapılandırmayı kaydedin. Model adı, sürüm, vektör boyutu ve kullanılan belge işleme koşullarını not edin. Aynı adın farklı sürümlerini karıştırmayın.
- Yeni modelle ayrı bilgi tabanı veya koleksiyon oluşturun. Mevcut çalışan dizini hemen bozmadan temsilî belge grubunu yeniden işleyin. Uygulamanızın desteklediği yeniden indeksleme yolunu kullanın.
- Sorgu tarafını aynı modele bağlayın. Yeni belge vektörlerini üreten model ile arama sorgusunu vektörleştiren modelin eşleştiğini doğrulayın.
- Bilinen sorularla karşılaştırın. Doğru parça, alakasız parça ve cevabı belgede olmayan soru için sonuçları inceleyin. Benzerlik puanlarının eski modelle aynı ölçekte olduğunu varsaymayın.
- Uygulamayı doğrulanan dizine geçirin. Hedef bilgi tabanını ve filtreleri kontrol edin. Eski dizini kaldırmadan önce yeni kaynağın gerçek uygulamada kullanıldığını doğrulayın.
Yalnız boyut hatasını düzeltmek neden yetmez?
Vektör veri tabanı boyut uyuşmazlığında açık hata verebilir. Hata çıkmayan aynı boyutlu geçişte ise yanlış komşular sessizce dönebilir. Bu yüzden başarılı indeksleme ile iyi arama sonucunu ayrı değerlendirin.Yeni model daha iyi sonuç veriyor diye bütün ayarları aynı anda değiştirmeyin. Parça boyutu, arama yöntemi ve embedding modelini birlikte değiştirirseniz iyileşmenin veya bozulmanın nedenini anlayamazsınız. Her karşılaştırmada aynı belge ve soruları kullanıp doğru parçanın bulunmasını esas alın.
