Metin sınıflandırma, yazılı içerikleri önceden belirlenmiş kategorilere otomatik olarak ayırma işlemidir. Bir sistem; e-posta, yorum, destek talebi veya haber metnini inceleyerek örneğin spam ya da normal, olumlu ya da olumsuz gibi sınıflardan birini seçer. Sağlıklı bir sonuç için önce sınıflar ve etiketli örnekler hazırlanır, ardından model eğitilir ve daha önce görmediği metinlerle sınanır.
Bir sınıflandırma sistemi metni doğrudan “anlam” olarak değerlendirmez; metindeki kelimeleri, kelime sıklıklarını, ifadeleri veya daha gelişmiş dil özelliklerini sayısal verilere dönüştürür. Bu sayısal gösterim, daha önce hangi metinlerin hangi etiketlerle eşleştirildiğini öğrenen bir model tarafından kullanılır.
Örneğin bir destek sistemi için şu sınıflar tanımlanabilir: faturalandırma, teknik sorun ve hesap erişimi. “Kredi kartımdan iki kez ücret çekildi” metni faturalandırma sınıfına, “Şifremi sıfırlayamıyorum” metni ise hesap erişimi sınıfına atanabilir. Modelin çıktısı, metnin kesin olarak doğru olduğunu kanıtlamaz; yalnızca eğitim verisine göre en olası sınıfı gösterir.
Etiketler: Sistemin üreteceği sınıflardır. Sınıflar birbirinden anlaşılır biçimde ayrılmalı ve aynı metin için hangi etiketin kullanılacağı önceden belirlenmelidir.
Eğitim verisi: Her biri doğru etikete sahip örnek metinlerden oluşur. Örneğin “Ürün ne zaman teslim edilir?” metni teslimat etiketiyle işaretlenebilir.
Model: Metin özellikleri ile etiketler arasındaki ilişkiyi öğrenen algoritmadır. Basit projelerde Naive Bayes veya lojistik regresyon gibi yöntemler kullanılabilir; daha karmaşık görevlerde dil modellerinden yararlanılabilir.
Değerlendirme verisi: Modelin eğitim sırasında görmediği metinlerdir. Bu veri, modelin ezber yapmak yerine yeni metinlere ne kadar iyi uygulanabildiğini ölçmek için kullanılır.
Varsayımsal olarak üç sınıflı bir e-posta sistemi kurduğunuzu düşünün. Eğitim verilerinizde aşağıdaki eşleştirmeler bulunsun:
Tek etiketli sınıflandırmada her metne yalnızca bir kategori atanır. Haber türü belirleme veya bir talebi tek bir departmana yönlendirme buna örnektir.
Çok etiketli sınıflandırmada aynı metin birden fazla kategori alabilir. “Kartımdan ücret çekildi ancak hesabıma giriş yapamıyorum” ifadesi hem faturalandırma hem de hesap erişimi etiketlerini taşıyabilir. Kullanacağınız yaklaşımı, bir metnin aynı anda birden fazla konuyu temsil edip etmediğine göre seçmelisiniz.
Yalnızca toplam doğruluk oranına bakmak yeterli değildir. Dengesiz veri kümelerinde çoğu örneği oluşturan sınıfı tahmin eden bir model yüksek doğruluk gösterebilir; buna rağmen az görülen sınıfları sürekli yanlış sınıflandırabilir. Bu nedenle her sınıf için kesinlik, duyarlılık ve hata matrisi gibi ölçümler de incelenmelidir.
Yanlış sınıflandırılan örnekleri tek tek inceleyin. Sorun, yetersiz eğitim örneğinden, birbirine çok benzeyen sınıflardan, yazım hatalarından veya etiketleme tutarsızlığından kaynaklanabilir. Hatalı sonucu düzeltmek için yalnızca modeli değiştirmek yerine önce veri ve sınıf tanımlarını kontrol edin.
Metin sınıflandırma, bir metnin gerçekliğini, niyetini veya doğruluğunu tek başına kanıtlamaz. İroni, mecaz, kısa ifadeler, yazım hataları ve daha önce görülmemiş konular sonucu zorlaştırabilir. Ayrıca eğitim verisindeki önyargılar modelin kararlarına yansıyabilir.
Kişisel veya hassas içeriklerle çalışıyorsanız verinin nereden geldiğini, hangi amaçla kullanılacağını, kimlerin erişebileceğini ve saklama koşullarını ayrıca değerlendirin. Modelin çıktısını otomatik kararın tek dayanağı yapmak yerine, düşük güvenli veya kritik sonuçları insan incelemesine yönlendirmek daha güvenli bir tasarım olabilir.
Metin sınıflandırma nasıl çalışır?
Bir sınıflandırma sistemi metni doğrudan “anlam” olarak değerlendirmez; metindeki kelimeleri, kelime sıklıklarını, ifadeleri veya daha gelişmiş dil özelliklerini sayısal verilere dönüştürür. Bu sayısal gösterim, daha önce hangi metinlerin hangi etiketlerle eşleştirildiğini öğrenen bir model tarafından kullanılır.
Örneğin bir destek sistemi için şu sınıflar tanımlanabilir: faturalandırma, teknik sorun ve hesap erişimi. “Kredi kartımdan iki kez ücret çekildi” metni faturalandırma sınıfına, “Şifremi sıfırlayamıyorum” metni ise hesap erişimi sınıfına atanabilir. Modelin çıktısı, metnin kesin olarak doğru olduğunu kanıtlamaz; yalnızca eğitim verisine göre en olası sınıfı gösterir.
Temel bileşenler
Etiketler: Sistemin üreteceği sınıflardır. Sınıflar birbirinden anlaşılır biçimde ayrılmalı ve aynı metin için hangi etiketin kullanılacağı önceden belirlenmelidir.
Eğitim verisi: Her biri doğru etikete sahip örnek metinlerden oluşur. Örneğin “Ürün ne zaman teslim edilir?” metni teslimat etiketiyle işaretlenebilir.
Model: Metin özellikleri ile etiketler arasındaki ilişkiyi öğrenen algoritmadır. Basit projelerde Naive Bayes veya lojistik regresyon gibi yöntemler kullanılabilir; daha karmaşık görevlerde dil modellerinden yararlanılabilir.
Değerlendirme verisi: Modelin eğitim sırasında görmediği metinlerdir. Bu veri, modelin ezber yapmak yerine yeni metinlere ne kadar iyi uygulanabildiğini ölçmek için kullanılır.
Küçük bir örnek
Varsayımsal olarak üç sınıflı bir e-posta sistemi kurduğunuzu düşünün. Eğitim verilerinizde aşağıdaki eşleştirmeler bulunsun:
- “Hesabım kilitlendi.” → hesap erişimi
- “Faturamı PDF olarak almak istiyorum.” → faturalandırma
- “Uygulama açılır açılmaz kapanıyor.” → teknik sorun
Tek etiketli ve çok etiketli sınıflandırma
Tek etiketli sınıflandırmada her metne yalnızca bir kategori atanır. Haber türü belirleme veya bir talebi tek bir departmana yönlendirme buna örnektir.
Çok etiketli sınıflandırmada aynı metin birden fazla kategori alabilir. “Kartımdan ücret çekildi ancak hesabıma giriş yapamıyorum” ifadesi hem faturalandırma hem de hesap erişimi etiketlerini taşıyabilir. Kullanacağınız yaklaşımı, bir metnin aynı anda birden fazla konuyu temsil edip etmediğine göre seçmelisiniz.
Başarı nasıl yorumlanır?
Yalnızca toplam doğruluk oranına bakmak yeterli değildir. Dengesiz veri kümelerinde çoğu örneği oluşturan sınıfı tahmin eden bir model yüksek doğruluk gösterebilir; buna rağmen az görülen sınıfları sürekli yanlış sınıflandırabilir. Bu nedenle her sınıf için kesinlik, duyarlılık ve hata matrisi gibi ölçümler de incelenmelidir.
Yanlış sınıflandırılan örnekleri tek tek inceleyin. Sorun, yetersiz eğitim örneğinden, birbirine çok benzeyen sınıflardan, yazım hatalarından veya etiketleme tutarsızlığından kaynaklanabilir. Hatalı sonucu düzeltmek için yalnızca modeli değiştirmek yerine önce veri ve sınıf tanımlarını kontrol edin.
Metin sınıflandırmanın sınırları
Metin sınıflandırma, bir metnin gerçekliğini, niyetini veya doğruluğunu tek başına kanıtlamaz. İroni, mecaz, kısa ifadeler, yazım hataları ve daha önce görülmemiş konular sonucu zorlaştırabilir. Ayrıca eğitim verisindeki önyargılar modelin kararlarına yansıyabilir.
Kişisel veya hassas içeriklerle çalışıyorsanız verinin nereden geldiğini, hangi amaçla kullanılacağını, kimlerin erişebileceğini ve saklama koşullarını ayrıca değerlendirin. Modelin çıktısını otomatik kararın tek dayanağı yapmak yerine, düşük güvenli veya kritik sonuçları insan incelemesine yönlendirmek daha güvenli bir tasarım olabilir.
