Garfield
YZF Admin
Bir ajanın başarı ölçütleri, yalnızca doğru yanıt verip vermediğine bakılarak değil, görevin amacına ne kadar güvenilir, hızlı, düşük maliyetli ve güvenli biçimde ulaştığı ölçülerek belirlenir. Önce ajanın yaptığı işi tek bir sonuç cümlesiyle tanımlayın; ardından ölçülebilir hedefler, kabul edilebilir hata sınırları ve gerçek kullanıcı örneklerinden oluşan bir test kümesi oluşturun. Sonuçta elinizde, her çalıştırmada aynı şekilde değerlendirilebilen bir puanlama ve başarısızlık durumunda hangi bileşenin düzeltilmesi gerektiğini gösteren bir rapor bulunmalıdır.
İlk adım, ajanın ne yaptığını değil, kullanıcı adına hangi sonucu üretmesi gerektiğini yazmaktır. Örneğin “müşteri sorularını yanıtlayan ajan” belirsiz bir tanımdır. Bunun yerine “kullanıcının sorusunu doğru kategoriye yönlendiren, şirketin güncel bilgi tabanına dayalı yanıt veren ve gerektiğinde insan desteğine aktaran ajan” denebilir.
Bu tanım, ölçütleri de belirler. Ajanın yalnızca akıcı cümleler kurması başarı sayılmaz. Yanıt doğru kaynağa dayanıyor mu, kullanıcının işini tamamlıyor mu, yanlış durumda işlemi durdurup insana aktarabiliyor mu gibi sorular da ölçülmelidir.
Başarı ölçütlerini tek bir puana indirgemeden önce ayrı gruplarda takip etmek daha güvenlidir. Çünkü yüksek doğruluk, gereksiz uzun yanıtlar veya yüksek maliyet pahasına elde edilmiş olabilir.
Bu ayrımın ardından her ölçüt için hedef ve başarısızlık sınırı yazın. “Yanıtlar kaliteli olmalı” ölçülebilir değildir. “Değerlendirme kümesindeki yanıtların en az yüzde 90'ı doğru olmalı; kritik güvenlik sorularında yanlış yönlendirme yapılmamalı” ifadesi daha kullanılabilirdir. Yüzde değerleri örnektir; kendi risk düzeyinize, veri kalitenize ve görevin maliyetine göre belirlenmelidir.
Başarı ölçütü, yalnızca birkaç örnek üzerinde çalışıyorsa güvenilir değildir. Test kümesine normal isteklerin yanında eksik bilgi içeren, yazım hatalı, birden fazla amacı olan ve ajanın cevap vermemesi gereken istekleri de ekleyin. Her test örneği için beklenen sonuç, kabul edilebilir alternatifler ve kesin başarısızlık sayılacak durumlar yazılmalıdır.
Örneğin bir destek ajanı için girdi şu olabilir: “Faturam iki kez çekilmiş, ne yapmalıyım?” Beklenen sonuç yalnızca özür dilemek değildir. Ajanın durumu doğru kategoriye alması, hesap veya ödeme verisi istemeden güvenli doğrulama adımını açıklaması ve gerekli durumda destek kaydı oluşturmayı önermesi beklenebilir. Yanlış hesap bilgisi uydurması veya iade yapılmış gibi kesin konuşması başarısızlıktır.
Her ölçütün önemi aynı değildir. Kritik bir finansal işlemde güvenlik ve doğruluk, yanıt hızından daha ağır basabilir. Basit bir içerik sınıflandırma ajanında ise hız ve maliyet daha yüksek ağırlık taşıyabilir.
Varsayımsal bir puanlama şöyle kurulabilir: görev başarısı yüzde 40, doğruluk yüzde 30, güvenlik yüzde 20, hız ve maliyet yüzde 10. Ancak ağırlıklı ortalama, kritik bir ihlali gizlememelidir. Örneğin güvenlik ihlali varsa toplam puan yüksek olsa bile test başarısız kabul edilebilir. Bu tür ölçütlere geçilemez eşik koymak gerekir.
Ajanı değerlendirirken insan değerlendirmesi de kullanılabilir. Değerlendiriciye “iyi yanıt” demek yerine doğruluk, görevi tamamlama, kaynakla uyum ve gereksiz iddia gibi ayrı puanlama alanları verin. Mümkünse aynı örneği birden fazla kişi değerlendirsin; görüş ayrılıkları, ölçütün yeterince açık olmadığını gösterebilir.
Doğruluk düşükse bilgi kaynağını, erişilen belgeleri ve istem talimatlarını inceleyin. Yanıtlar doğru fakat görev tamamlama oranı düşükse ajan akışındaki araç çağrılarını, zorunlu alanları veya insan aktarım koşullarını kontrol edin. Yanıtlar başarılı ancak süre ve maliyet yükseliyorsa model seçimi, bağlama aktarılan veri miktarı ve gereksiz araç çağrıları gözden geçirilmelidir.
Bir ajanın tek seferlik testte yüksek puan alması üretimde başarılı olduğunu kanıtlamaz. Yeni belgeler, farklı kullanıcı ifadeleri, araç hataları ve zaman içinde değişen iş kuralları sonucu etkileyebilir. Bu nedenle aynı test kümesini sürümler arasında karşılaştırın, üretimden anonimleştirilmiş örnekleri düzenli olarak ekleyin ve her değişiklikten sonra hem genel puanı hem de geçilemez eşikleri yeniden kontrol edin.
Başarıyı görev sonucuna göre tanımlayın
İlk adım, ajanın ne yaptığını değil, kullanıcı adına hangi sonucu üretmesi gerektiğini yazmaktır. Örneğin “müşteri sorularını yanıtlayan ajan” belirsiz bir tanımdır. Bunun yerine “kullanıcının sorusunu doğru kategoriye yönlendiren, şirketin güncel bilgi tabanına dayalı yanıt veren ve gerektiğinde insan desteğine aktaran ajan” denebilir.
Bu tanım, ölçütleri de belirler. Ajanın yalnızca akıcı cümleler kurması başarı sayılmaz. Yanıt doğru kaynağa dayanıyor mu, kullanıcının işini tamamlıyor mu, yanlış durumda işlemi durdurup insana aktarabiliyor mu gibi sorular da ölçülmelidir.
Ölçütleri dört grupta toplayın
Başarı ölçütlerini tek bir puana indirgemeden önce ayrı gruplarda takip etmek daha güvenlidir. Çünkü yüksek doğruluk, gereksiz uzun yanıtlar veya yüksek maliyet pahasına elde edilmiş olabilir.
| Ölçüt grubu | Ne ölçülür? | Örnek gösterge |
|---|---|---|
| Görev başarısı | Ajanın istenen işi tamamlayıp tamamlamadığı | Doğru sınıflandırma, tamamlanan işlem oranı |
| Yanıt kalitesi | Bilginin doğruluğu, eksiksizliği ve kaynakla uyumu | Doğru yanıt oranı, temelsiz iddia oranı |
| Operasyon | Hız, maliyet ve kaynak kullanımı | Ortalama yanıt süresi, görev başına maliyet |
| Güvenlik ve güvenilirlik | Riskli durumda durma, veri koruma ve tutarlı davranma | Yetkisiz işlem oranı, güvenli aktarım oranı |
Test kümesini gerçek kullanım çeşitliliğiyle oluşturun
Başarı ölçütü, yalnızca birkaç örnek üzerinde çalışıyorsa güvenilir değildir. Test kümesine normal isteklerin yanında eksik bilgi içeren, yazım hatalı, birden fazla amacı olan ve ajanın cevap vermemesi gereken istekleri de ekleyin. Her test örneği için beklenen sonuç, kabul edilebilir alternatifler ve kesin başarısızlık sayılacak durumlar yazılmalıdır.
Örneğin bir destek ajanı için girdi şu olabilir: “Faturam iki kez çekilmiş, ne yapmalıyım?” Beklenen sonuç yalnızca özür dilemek değildir. Ajanın durumu doğru kategoriye alması, hesap veya ödeme verisi istemeden güvenli doğrulama adımını açıklaması ve gerekli durumda destek kaydı oluşturmayı önermesi beklenebilir. Yanlış hesap bilgisi uydurması veya iade yapılmış gibi kesin konuşması başarısızlıktır.
Puanlamayı ve ağırlıkları belirleyin
Her ölçütün önemi aynı değildir. Kritik bir finansal işlemde güvenlik ve doğruluk, yanıt hızından daha ağır basabilir. Basit bir içerik sınıflandırma ajanında ise hız ve maliyet daha yüksek ağırlık taşıyabilir.
Varsayımsal bir puanlama şöyle kurulabilir: görev başarısı yüzde 40, doğruluk yüzde 30, güvenlik yüzde 20, hız ve maliyet yüzde 10. Ancak ağırlıklı ortalama, kritik bir ihlali gizlememelidir. Örneğin güvenlik ihlali varsa toplam puan yüksek olsa bile test başarısız kabul edilebilir. Bu tür ölçütlere geçilemez eşik koymak gerekir.
Ajanı değerlendirirken insan değerlendirmesi de kullanılabilir. Değerlendiriciye “iyi yanıt” demek yerine doğruluk, görevi tamamlama, kaynakla uyum ve gereksiz iddia gibi ayrı puanlama alanları verin. Mümkünse aynı örneği birden fazla kişi değerlendirsin; görüş ayrılıkları, ölçütün yeterince açık olmadığını gösterebilir.
Sonuçları yorumlayıp doğru bileşeni düzeltin
Doğruluk düşükse bilgi kaynağını, erişilen belgeleri ve istem talimatlarını inceleyin. Yanıtlar doğru fakat görev tamamlama oranı düşükse ajan akışındaki araç çağrılarını, zorunlu alanları veya insan aktarım koşullarını kontrol edin. Yanıtlar başarılı ancak süre ve maliyet yükseliyorsa model seçimi, bağlama aktarılan veri miktarı ve gereksiz araç çağrıları gözden geçirilmelidir.
Bir ajanın tek seferlik testte yüksek puan alması üretimde başarılı olduğunu kanıtlamaz. Yeni belgeler, farklı kullanıcı ifadeleri, araç hataları ve zaman içinde değişen iş kuralları sonucu etkileyebilir. Bu nedenle aynı test kümesini sürümler arasında karşılaştırın, üretimden anonimleştirilmiş örnekleri düzenli olarak ekleyin ve her değişiklikten sonra hem genel puanı hem de geçilemez eşikleri yeniden kontrol edin.
Sık sorulan sorular
Tek bir başarı puanı kullanmak yeterli midir?
Tek puan, sürümleri karşılaştırmayı kolaylaştırır; ancak hangi alanda sorun olduğunu göstermez. Görev başarısı, doğruluk, güvenlik, hız ve maliyet puanlarını ayrı saklayın. Özellikle güvenlik gibi kritik alanlarda düşük performansı genel ortalamayla gizlemeyin.
Ajan ne zaman başarısız kabul edilmelidir?
Beklenen sonucu üretemediğinde, yanlış bilgi verdiğinde, yetkisi olmayan işlemi yaptığında veya insan desteğine aktarılması gereken durumda bunu yapmadığında başarısız sayılmalıdır. Kritik görevlerde küçük bir doğruluk kaybı bile güvenlik ihlaliyle aynı şekilde değerlendirilmeyebilir; bu nedenle her test türü için önceden kabul sınırı belirleyin.
