Rehber Bir yapay zekâ özelliği gerçek kullanıcılarla nasıl test edilir?

Gerçek kullanıcı testinde yalnız yanıtın doğru olup olmadığına değil, kullanıcının doğru işlemi anlayıp tamamlayabildiğine ve yanlış yanıtı fark edebildiğine bakın. Model doğru bir metin üretse bile, arayüz bu metnin nasıl kullanılacağını anlatmıyorsa özellik işini tamamlamamış olabilir. Testi, ürününüzün gerçek kullanımına benzeyen küçük görevlerle hazırlayın.

Önce öğrenmek istediğiniz soruyu belirleyin​

Örneğin belge asistanında “kullanıcı yanıtın dayandığı bölümü bulabiliyor mu?” sorusu test edilebilir. “Asistanımız iyi mi?” sorusu ise aynı oturumda yanıt kalitesi, tasarım, hız ve beklenti gibi birçok şeyi birbirine karıştırır.

Görev metninde nasıl yapılacağını söylemeyin. “Sağdaki kaynak düğmesine tıklayın” yerine “Bu yanıtın belgede nereden alındığını kontrol edin” demek, arayüzün anlaşılabilirliğini gözlemlemenizi sağlar. Kullanıcı yardım istediğinde hangi noktada zorlandığını not edin; doğrudan sonucu göstermek, sorunun görülmesini engelleyebilir.

Yapay zekâya özgü durumları da deneyin​

1. Normal bir görev hazırlayın. Kullanıcıdan, örnek belgedeki belirli bir bilgiyi bulmasını veya bir taslağı düzenlemesini isteyin. Özel veri gerektirmeyen bir örnek kullanın.
2. Bilginin eksik olduğu bir durum ekleyin. Araç yanıt veremediğinde kullanıcının bunu anlayıp anlayamadığını ve sonraki adımı bulup bulamadığını gözlemleyin.
3. Düzeltilmesi gereken bir çıktı gösterin. Kullanıcı yanlış tarihi, eksik alanı veya uygunsuz öneriyi fark edip değiştirebiliyor mu kontrol edin. Testte hata içeren örnek kullanılacağını katılımcıya uygun biçimde açıklayın.
4. Sonuca nasıl güvendiğini sorun. Yalnız “beğendim” yanıtını değil, hangi işaretin güven verdiğini ve neyi kontrol ettiğini dinleyin.
5. Görev sonunda neyin başarıldığını kaydedin. Tamamlandı, yardımla tamamlandı veya tamamlanamadı gibi ayrımlar, yalnız süre ölçmekten daha açıklayıcı olabilir.

Notları kişiye değil soruna bağlayın​

“Katılımcı anlamadı” yerine “Kaynak bağlantısı yanıtın altında görünmediği için belgeyi yeniden yüklemeye çalıştı” gibi bir gözlem yazın. Bu kayıt, tasarımda neyin değişmesi gerektiğini anlatır. Gerçek kişisel bilgileri test notuna taşımadan önce bunlara ihtiyaç olup olmadığını değerlendirin; kayıt alınacaksa katılımcıya kapsamı ve kullanımını açıklayın.

Az sayıda gözlemden bütün kullanıcı kitlesi için kesin oran çıkarmayın. İlk testler öncelikle sorunları keşfetmenize yardım eder. Aynı hatanın farklı kişilerde görülmesi önemli bir işarettir; fakat bunun ne kadar yaygın olduğunu ölçmek ayrı bir araştırma gerektirebilir.

Düzeltmeyi aynı ihtiyaçla yeniden deneyin​

Örneğin kaynak alanını görünür hale getirdiyseniz sonraki testte aynı amacı koruyun. Kullanıcının görevi siz açıklamadan tamamlayıp tamamlamadığına bakın. Bir sorunu düzeltirken başka adımın zorlaşmadığını da kontrol edin. Model değişikliği ile arayüz değişikliğini aynı anda yaptığınızda, iyileşmenin hangi değişiklikten kaynaklandığını ayırmak daha güç olabilir.