Rehber Dify doğru belgeyi bulduğu halde yanlış cevap veriyorsa ne yapılır?

Dify doğru belge parçasını getiriyor ama cevap yanlış oluyorsa sorunu yalnız arama ayarlarında aramayın. Getirilen parçanın modele aktarılması, çelişen bağlamın yönetilmesi ve yanıt talimatı da sonucu etkiler. Önce aynı soruda arama çıktısıyla model girdisini yan yana inceleyin.

Arama başarısını yanıt başarısından ayırın​

Varsayımsal bir kılavuzda “ücretsiz değişim yalnız ambalajı açılmamış ürünlerde” yazıyor olsun. Bot “bütün ürünler ücretsiz değiştirilir” diyorsa doğru parçayı bulmuş olsa bile koşulu düşürmüştür. Benzerlik puanının yüksek olması, cümlenin doğru yorumlandığını kanıtlamaz.

Yanlışlığın aşamasını bulun​

1. Soruyu retrieval testinde çalıştırın. Gelen parça gerçekten sorunun cevabını ve koşulunu taşıyor mu okuyun. Belgede ilgili sözcüklerin bulunması yeterli değildir.
2. Uygulamanın gerçek girdisini inceleyin. Arama düğümü çıktısının modelin bağlamına bağlandığını doğrulayın. Yanlış değişken seçimi, doğru arama sonucunu kullanılmaz bırakabilir.
3. Çelişen parçaları ayırın. Eski ve yeni politika birlikte geliyorsa tarih/sürüm metadatasıyla doğru kaynağı seçin. Modelden belirsiz bir öncelik sırasını tahmin etmesini beklemeyin.
4. Yanıt talimatını daraltın. Koşul, istisna ve olumsuzlukları korumasını; kaynakta olmayan kesinlik eklememesini isteyin. Belirsiz durumda bilginin bulunamadığını belirtmesini sağlayın.
5. Aynı soruyu farklı ifadeyle deneyin. Yalnız tek kalıp soruda düzelmesi yeterli değildir. Kuralın kapsamını soran ve istisnayı soran iki ek örnekle denetleyin.

Eşik değişikliği ne zaman anlamlı?​

Alakasız parçalar geliyorsa arama yöntemi, filtre, top-k ve eşik ayarı değerlendirilebilir. Fakat doğru parça zaten gelmişken eşiği sürekli değiştirmek asıl sorunu gizler. Test ekranındaki geçici ayarın uygulamanın kayıtlı ayarıyla aynı olduğunu da doğrulayın.

Kullanıcıya kaynak gösterme özelliği açıksa gösterilen parça cevabı gerçekten desteklemelidir. Bir kaynak simgesinin bulunması yanlış genellemeyi düzeltmez. Özellikle hak, süre veya teknik koşul anlatılırken botun kaynakta yazan sınırı koruduğunu metin üzerinden kontrol edin.

Doğru paragraf getirildiği halde cevap bir koşulu atlıyorsa benzerlik eşiğini artırmak yeterli olur mu? Rehberdeki varsayımsal ücretsiz değişim örneğinde ambalaj koşulu kaynakta mevcut. Böyle bir hatada arama ayarıyla cevap üretme davranışını birbirinden ayıracak en küçük kontrol ne olabilir?

Aynı sorunun retrieval çıktısında koşulun tamamını görüp ardından modelin gerçek girdisine bakmak gerekir. Koşul oraya ulaşıyorsa sorun yalnız parça seçimi değildir; yanıtın onu nasıl kullandığı da incelenir. Talimatta istisnayı korumak istenebilir, fakat doğruluğu yine kaynak cümlesiyle karşılaştırmak gerekir.

Eski ve yeni politika aynı anda geliyorsa ayrıca sürüm önceliği sorunu oluşabilir. Modelden hangi belgenin geçerli olduğunu tahmin etmesini beklemek yerine tarih veya sürüm metadatasıyla seçim yapılmalı. Test ekranında işe yarayan geçici ayarın uygulamaya kaydedilip kaydedilmediği de ayrı kontrol edilmeli.