Değerlendirme veri seti, uygulamanızın karşılaşacağı girdileri ve bu girdilerde neyin doğru sayılacağını birlikte kaydettiğiniz örneklerdir. Önce örnekleri hazırlayıp sonra modeli veya talimatı bunlarla kontrol etmek, yalnız hoşunuza giden yanıtları seçmekten daha açıklayıcı sonuç verir. Beklenen cevabı yine aynı modelden alıp sorgulamadan kabul etmeyin.
Girdinin paylaşım ve kullanım hakkını kontrol edin. İlk set için gerçek müşteri kaydı yerine aynı yapıyı taşıyan temsili örnekler hazırlayabilirsiniz. Özel bilgileri temizlerken anlamı değiştirmeyin: şikâyetin konusu test için gerekliyken onu silip ilgisiz bir cümle bırakmak, örneğin amacını ortadan kaldırır.
Bu örnek temsili bir şemadır; kendi uygulamanızdaki alan ve etiketlerle uyarlayın. Serbest metin yanıtlarında tek bir doğru cümle şartı koymak yerine, bulunması gereken bilgiyi ve eklenmemesi gereken iddiayı tanımlamak daha uygun olabilir.
Sete yeni bir hata örneği eklediğinizde beklenen davranışını da yazın. Yalnız başarısız yanıtları bir klasörde toplamak değerlendirme sistemi kurmak değildir. Örneklerin hangi sürümde ve hangi koşulda çalıştırıldığını kaydetmek, daha sonraki karşılaştırmanın anlamını korur.
Gerçek işi temsil eden örnekler seçin
Normal kullanımın yanında eksik bilgi, birden fazla anlama gelen ifade ve kapsam dışı istek gibi durumları ekleyin. Bir müşteri mesajı sınıflandırıcısında yalnız açık “fatura istiyorum” örnekleri bulunursa, kararsız veya karmaşık mesajların nasıl ele alındığını göremezsiniz.Girdinin paylaşım ve kullanım hakkını kontrol edin. İlk set için gerçek müşteri kaydı yerine aynı yapıyı taşıyan temsili örnekler hazırlayabilirsiniz. Özel bilgileri temizlerken anlamı değiştirmeyin: şikâyetin konusu test için gerekliyken onu silip ilgisiz bir cümle bırakmak, örneğin amacını ortadan kaldırır.
Her örneğe beklenen davranışı ekleyin
Basit bir kayıt şu alanları içerebilir:
JSON:
{
"id": "etiket_001",
"girdi": "Siparisimin faturasini yeniden almak istiyorum.",
"beklenen_etiket": "fatura",
"beklenen_davranis": "Yalniz izin verilen etiketi dondur.",
"kabul_edilmeyen": "Odeme alindigini veya e-posta gonderildigini iddia etme."
}Seti kullanma sırası
- Kullanıcı ihtiyacını ve kontrol edeceğiniz özelliği yazın. Sınıflandırma, belgeye dayalı yanıt ve metin düzenleme aynı kabul ölçütünü kullanmaz.
- Örnekleri normal, belirsiz ve kapsam dışı gibi anlamlı gruplara ayırın. Bir grubun çok fazla olması diğer gruptaki sorunları görünmez hale getirmesin.
- Beklenen sonucu insan denetimiyle kontrol edin. Anlaşmazlık varsa örneği zorla doğru-yanlış saymak yerine hangi iş kuralının belirsiz olduğunu düzeltin.
- Talimatı geliştirirken kullandığınız örneklerle, son değerlendirme için ayırdığınız örnekleri karıştırmayın. Aynı örneklere sürekli uyarlanan bir sistemin yeni girdilerde de aynı başarıyı göstereceğini varsaymayın.
- Model veya iş akışı değiştiğinde aynı seti yeniden çalıştırın. Toplam sonucu ve hangi tür örneklerin bozulduğunu birlikte inceleyin.
Yanlış sonucu bilgiye dönüştürün
Hatanın nedeni yalnız model olmayabilir. Yanlış dosyanın yüklenmesi, metnin hatalı çıkarılması veya uygulamanın doğru cevabı yanlış alana yazması da sonucu bozabilir. Girdi, ara adım ve son çıktıyı birbirinden ayırarak hangi parçanın değişmesi gerektiğini bulun.Sete yeni bir hata örneği eklediğinizde beklenen davranışını da yazın. Yalnız başarısız yanıtları bir klasörde toplamak değerlendirme sistemi kurmak değildir. Örneklerin hangi sürümde ve hangi koşulda çalıştırıldığını kaydetmek, daha sonraki karşılaştırmanın anlamını korur.
