Garfield
YZF Admin
Doğal dil işleme (DDİ), bilgisayarların insan dilindeki metin ve konuşmaları anlamlandırması, sınıflandırması veya üretmesi için kullanılır. Başlıca görevler; metin sınıflandırma, duygu analizi, varlık tanıma, makine çevirisi, özetleme, soru yanıtlama, bilgi çıkarma, konuşmayı yazıya dönüştürme ve metin üretimidir. Hangi algoritmanın seçileceği, girdinin metin mi ses mi olduğu, beklenen çıktının etiket mi yoksa yeni bir metin mi olduğu ve doğruluk gereksinimine göre değişir.
DDİ görevlerini anlamanın en kolay yolu, bir metnin sisteme girdiğinde neye dönüştürüldüğüne bakmaktır. Sistem yalnızca bir kategori seçiyorsa sınıflandırma, metindeki belirli kişi veya kurumları buluyorsa varlık tanıma, yeni bir metin oluşturuyorsa üretim görevi yapar.
Tablodaki görevler birbirinden tamamen bağımsız değildir. Örneğin bir müşteri destek sistemi önce konuşmayı yazıya dönüştürebilir, sonra metni sınıflandırarak talebin konusunu bulabilir, varlık tanıma ile sipariş numarasını çıkarabilir ve son olarak uygun yanıtı üretebilir.
Metin sınıflandırmada algoritma, önceden belirlenmiş kategorilerden birini seçer. E-posta için “spam” veya “normal”, destek kaydı için “fatura”, “teknik sorun” veya “hesap” gibi etiketler kullanılabilir.
Duygu analizi bunun özel bir biçimidir. Örneğin varsayımsal olarak “Kargo hızlı geldi, ancak ürünün ambalajı hasarlıydı.” girdisi işlendiğinde sistem “karışık” veya baskın duyguya göre “olumsuz” sonucu verebilir. Bu çıktı, metnin belirli bir duygusal sınıfa benzediğini gösterir; müşterinin kesin olarak memnun veya mağdur olduğunu tek başına kanıtlamaz. Alay, bağlam ve birden fazla duygunun bulunduğu cümlelerde insan incelemesi gerekebilir.
Adlandırılmış varlık tanıma, metindeki kişi, kurum, yer, tarih ve benzeri varlık ifadelerini türleriyle birlikte bulur. “Ayşe, Ankara’daki Atlas Yazılım’da çalışıyor.” cümlesi için olası çıktı şu şekilde olabilir:
Makine çevirisi bir metni başka bir dile aktarır; ancak deyimler, alan terimleri, özel adlar ve hukuki ya da teknik ifadeler için insan kontrolü gerekebilir. Özetleme uzun bir metindeki ana noktaları kısaltır. İyi bir özet, metni kısaltırken önemli koşulları ve olumsuzlukları değiştirmemelidir.
Soru yanıtlama görevinde sistem, soruya doğrudan yanıt vermeye çalışır. Bir belgeye dayalı sistemde soru ile belge birlikte işlenir. Örneğin belge “Bakım çalışması 12 Mayıs saat 22.00’de başlayacaktır.” cümlesini içeriyorsa “Bakım ne zaman başlayacak?” sorusuna “12 Mayıs saat 22.00” yanıtı beklenir. Belge bu bilgiyi içermiyorsa sistemin boşlukları tahmin ederek doldurması güvenilir bir yanıt sayılmaz.
Konuşmayı yazıya dönüştürme algoritmaları ses sinyalini metne çevirir. Aksan, arka plan gürültüsü, birden fazla konuşmacı ve özel terimler hata oranını etkileyebilir. Metin üretim algoritmaları ise verilen komut, örnek veya bağlama göre yeni cümleler oluşturur. Üretilen metin akıcı görünse bile doğru olduğu varsayılmamalı; özellikle teknik, finansal, hukuki veya kişisel veriler içeren içeriklerde kaynak ve tutarlılık kontrolü yapılmalıdır.
Önce beklenen çıktıyı kesinleştirin. Çıktı sabit bir etiket olacaksa sınıflandırma, metinden alan ve değer çıkarılacaksa varlık tanıma veya bilgi çıkarma, yeni bir yanıt oluşturulacaksa üretim tabanlı yaklaşım gerekir. Ses girdisi varsa konuşma tanıma aşaması ayrıca ele alınır.
Veri kümesinin niteliği de önemlidir. Eğitim örnekleri gerçek kullanım dilini temsil etmiyorsa model, görev yerine veri kümesindeki tesadüfi kalıpları öğrenebilir. Performansı yalnızca genel doğrulukla değerlendirmek de yanıltıcı olabilir; az görülen sınıflar için kesinlik, duyarlılık ve F1 skoru gibi ölçütler ayrıca incelenmelidir.
Bir DDİ çıktısı olasılıksal bir tahmin olabilir. Bu nedenle düşük güvenli sınıflandırmaları insan incelemesine yönlendirmek, kritik bilgileri ikinci bir kuralla doğrulamak ve kişisel verileri gereksiz yere işlememek daha güvenli bir tasarım sağlar.
Doğal dil işlemede temel görevler
DDİ görevlerini anlamanın en kolay yolu, bir metnin sisteme girdiğinde neye dönüştürüldüğüne bakmaktır. Sistem yalnızca bir kategori seçiyorsa sınıflandırma, metindeki belirli kişi veya kurumları buluyorsa varlık tanıma, yeni bir metin oluşturuyorsa üretim görevi yapar.
| Görev | Girdi | Çıktı | Yaygın kullanım |
|---|---|---|---|
| Metin sınıflandırma | Yorum, e-posta veya belge | Kategori etiketi | Spam tespiti, konu sınıflandırma |
| Duygu analizi | Kullanıcı görüşü | Olumlu, olumsuz veya nötr sonuç | Müşteri geri bildirimi analizi |
| Adlandırılmış varlık tanıma | Haber veya belge metni | Kişi, kurum, yer, tarih gibi varlıklar | Bilgi çıkarma ve arama |
| Makine çevirisi | Bir dildeki metin | Başka dildeki metin | Belge ve kullanıcı arayüzü çevirisi |
| Özetleme | Uzun metin | Kısa metin | Rapor ve haber özeti |
| Soru yanıtlama | Soru ve metin veya bilgi kaynağı | Yanıt | Destek sistemleri ve bilgi erişimi |
| Konuşmayı yazıya dönüştürme | Ses kaydı | Metin | Dikte ve toplantı dökümleri |
| Metin üretimi | Komut veya bağlam | Yeni metin | Taslak, açıklama ve kod üretimi |
Görevler nasıl çalışır?
Metin sınıflandırma ve duygu analizi
Metin sınıflandırmada algoritma, önceden belirlenmiş kategorilerden birini seçer. E-posta için “spam” veya “normal”, destek kaydı için “fatura”, “teknik sorun” veya “hesap” gibi etiketler kullanılabilir.
Duygu analizi bunun özel bir biçimidir. Örneğin varsayımsal olarak “Kargo hızlı geldi, ancak ürünün ambalajı hasarlıydı.” girdisi işlendiğinde sistem “karışık” veya baskın duyguya göre “olumsuz” sonucu verebilir. Bu çıktı, metnin belirli bir duygusal sınıfa benzediğini gösterir; müşterinin kesin olarak memnun veya mağdur olduğunu tek başına kanıtlamaz. Alay, bağlam ve birden fazla duygunun bulunduğu cümlelerde insan incelemesi gerekebilir.
Varlık tanıma ve bilgi çıkarma
Adlandırılmış varlık tanıma, metindeki kişi, kurum, yer, tarih ve benzeri varlık ifadelerini türleriyle birlikte bulur. “Ayşe, Ankara’daki Atlas Yazılım’da çalışıyor.” cümlesi için olası çıktı şu şekilde olabilir:
- Ayşe → KİŞİ
- Ankara → YER
- Atlas Yazılım → KURUM
Çeviri, özetleme ve soru yanıtlama
Makine çevirisi bir metni başka bir dile aktarır; ancak deyimler, alan terimleri, özel adlar ve hukuki ya da teknik ifadeler için insan kontrolü gerekebilir. Özetleme uzun bir metindeki ana noktaları kısaltır. İyi bir özet, metni kısaltırken önemli koşulları ve olumsuzlukları değiştirmemelidir.
Soru yanıtlama görevinde sistem, soruya doğrudan yanıt vermeye çalışır. Bir belgeye dayalı sistemde soru ile belge birlikte işlenir. Örneğin belge “Bakım çalışması 12 Mayıs saat 22.00’de başlayacaktır.” cümlesini içeriyorsa “Bakım ne zaman başlayacak?” sorusuna “12 Mayıs saat 22.00” yanıtı beklenir. Belge bu bilgiyi içermiyorsa sistemin boşlukları tahmin ederek doldurması güvenilir bir yanıt sayılmaz.
Konuşma ve metin üretimi
Konuşmayı yazıya dönüştürme algoritmaları ses sinyalini metne çevirir. Aksan, arka plan gürültüsü, birden fazla konuşmacı ve özel terimler hata oranını etkileyebilir. Metin üretim algoritmaları ise verilen komut, örnek veya bağlama göre yeni cümleler oluşturur. Üretilen metin akıcı görünse bile doğru olduğu varsayılmamalı; özellikle teknik, finansal, hukuki veya kişisel veriler içeren içeriklerde kaynak ve tutarlılık kontrolü yapılmalıdır.
Göreve göre algoritma seçimi
Önce beklenen çıktıyı kesinleştirin. Çıktı sabit bir etiket olacaksa sınıflandırma, metinden alan ve değer çıkarılacaksa varlık tanıma veya bilgi çıkarma, yeni bir yanıt oluşturulacaksa üretim tabanlı yaklaşım gerekir. Ses girdisi varsa konuşma tanıma aşaması ayrıca ele alınır.
Veri kümesinin niteliği de önemlidir. Eğitim örnekleri gerçek kullanım dilini temsil etmiyorsa model, görev yerine veri kümesindeki tesadüfi kalıpları öğrenebilir. Performansı yalnızca genel doğrulukla değerlendirmek de yanıltıcı olabilir; az görülen sınıflar için kesinlik, duyarlılık ve F1 skoru gibi ölçütler ayrıca incelenmelidir.
Bir DDİ çıktısı olasılıksal bir tahmin olabilir. Bu nedenle düşük güvenli sınıflandırmaları insan incelemesine yönlendirmek, kritik bilgileri ikinci bir kuralla doğrulamak ve kişisel verileri gereksiz yere işlememek daha güvenli bir tasarım sağlar.
Son düzenleme:
