Rehber Bir metnin yapay zekâyla yazıldığı anlaşılır mı? Tespit araçlarının sınırları

Bir metnin yapay zekâ tarafından yazıldığını kesin ve her durumda güvenilir biçimde tespit etmek mümkün değildir. Yapay zekâ tespit araçları yalnızca dil kalıplarına veya varsa teknik kaynak sinyallerine bakarak olasılık üretir; insan tarafından yazılmış bir metni yanlışlıkla yapay zekâ ürünü gösterebilir, yapay zekâ metnini de kaçırabilir. Bu nedenle sonucu tek başına kanıt kabul etmek yerine yazım süreci, taslaklar, kaynak kullanımı ve metni hazırlayan kişinin açıklaması birlikte değerlendirilmelidir.

Tespit araçları neye bakar?​

Yaygın tespit araçları; sözcük seçimi, cümle uzunluğu, tekrarlar, tahmin edilebilir ifade dizileri ve metnin genel düzeni gibi istatistiksel özelliklerden yararlanır. Ancak bu özellikler yapay zekâya özgü değildir. Düzenli, resmî veya sade yazan bir insanın metni de benzer sonuç verebilir. Kısa metinlerde, yoğun biçimde düzenlenmiş yazılarda, çevirilerde ve farklı bir dilde hazırlanmış içeriklerde güvenilirlik daha da düşebilir.

OpenAI, kendi yapay zekâ metin sınıflandırıcısını 20 Temmuz 2023'te düşük doğruluk oranı nedeniyle kullanımdan kaldırdığını ve ChatGPT'nin bir metnin yapay zekâ tarafından yazılıp yazılmadığını güvenilir biçimde belirleyemediğini açıklamıştır. Bu nedenle ChatGPT'ye metni gösterip “Bunu sen mi yazdın?” diye sormak da yazarlık kanıtı oluşturmaz.

Bir sonuç nasıl yorumlanmalı?​

Aşağıdaki ayrım, tespit sonucunu doğru anlamanıza yardımcı olur.

1. İncelemenin neyi ölçtüğünü anlayın.
2. Kaynak ve süreç kanıtını ayrıca kontrol edin.
3. Tek puandan kesin yazarlık hükmü çıkarmayın.

Bu nedenle bir öğrenci ödevi, iş başvurusu, makale veya forum yazısı hakkında karar verirken yalnızca yüzde değerine ya da renkli bir rapora dayanmayın. Metnin önceki taslaklarını, dosya değişiklik geçmişini, kullanılan kaynakların gerçekten okunup okunmadığını ve yazarın metindeki ana fikirleri kendi cümleleriyle açıklayıp açıklayamadığını birlikte inceleyin. Bu kontroller de tek başına kesin ispat değildir; fakat tek bir otomatik tahminden daha güçlü bir değerlendirme sağlar.

Şüpheli bir metni nasıl kontrol edebilirsiniz?​

Metnin size ait olduğunu göstermeniz gerekiyorsa amacınız bir dedektörü “geçmek” değil, yazım sürecini doğrulanabilir hâle getirmek olmalıdır.

1. Taslakları ve çalışma kayıtlarını saklayın. Metnin ilk taslağını, sonradan yaptığınız önemli değişiklikleri ve kullandığınız notları koruyun; böylece metnin nasıl geliştiğini gösterebilirsiniz.
2. Kaynakları tek tek doğrulayın. Alıntı, tarih, sayı ve bağlantıların gerçekten ilgili kaynağa dayanıp dayanmadığını kontrol edin; yapay zekâ araçları gerçekte var olmayan kaynaklar veya hatalı bilgiler üretebilir.
3. Metni sözlü ya da yazılı olarak açıklayın. Ana iddiayı neden savunduğunuzu, hangi kaynağı neden kullandığınızı ve hangi bölümleri değiştirdiğinizi anlatabilmeniz, yazarlık sürecine ilişkin anlamlı bir ek bilgi sağlar.
4. Tespit raporunu yalnızca yardımcı işaret olarak değerlendirin. Rapor yüksek olasılık verse bile metni otomatik olarak reddetmeyin; yanlış pozitif ihtimalini dikkate alıp ek kanıt isteyin.

Bazı üretim sistemleri, belirli koşullarda metne görünmez bir kaynak sinyali eklemeye yönelik teknolojiler geliştiriyor. Böyle bir sinyal bulunursa bu, içeriğin desteklenen bir sistemle ilişkili olabileceğini gösterebilir; sinyalin bulunmaması ise metnin insan tarafından yazıldığını kanıtlamaz. Metin kısaltılmış, çevrilmiş veya yoğun biçimde düzenlenmişse bu tür yöntemler de güvenilirliğini kaybedebilir.

Sonuç olarak yapay zekâ tespit araçları kesin yazarlık testi değil, sınırlı bir olasılık değerlendirmesidir. Önemli bir karar verilecekse otomatik raporu; taslaklar, kaynak kontrolü, metni açıklama becerisi ve kurumun önceden belirlenmiş kurallarıyla birlikte değerlendirin.