Veri madenciliği yöntemleri nelerdir?

Veri madenciliği yöntemleri, büyük veri kümelerinden anlamlı örüntüler ve tahminler çıkarmak için kullanılan analiz yaklaşımlarıdır. En yaygın yöntemler sınıflandırma, regresyon, kümeleme, birliktelik analizi, aykırı değer analizi ve boyut indirgeme yöntemleridir. Doğru seçimi yapmak için önce elinizdeki veride hedef sütunun bulunup bulunmadığını belirleyin: bilinen bir sonucu tahmin edecekseniz denetimli yöntemleri, önceden tanımlı bir sonuç yoksa denetimsiz yöntemleri kullanın.

Yöntem seçimi neye göre yapılır?​

Bir veri madenciliği yöntemi seçerken önce soruyu netleştirin. “Müşteri ürünü alır mı?” sorusu sınıflandırma, “Gelecek ay satış ne kadar olur?” sorusu regresyon, “Benzer müşteriler hangi gruplara ayrılıyor?” sorusu kümeleme problemidir. “Hangi ürünler birlikte satın alınıyor?” sorusunda birliktelik analizi; olağan dışı işlemleri bulma ihtiyacında ise aykırı değer analizi kullanılır.

Aşağıdaki karşılaştırma, yöntem ile problem türünü eşleştirmenize yardımcı olur.
Tablodaki yöntemler birbirinin doğrudan alternatifi değildir. Örneğin önce kümeleme ile müşteri grupları oluşturup sonra her grubun satın alma davranışını ayrı bir sınıflandırma modeliyle inceleyebilirsiniz.

Temel yöntemler nasıl çalışır?​

Sınıflandırma​

Sınıflandırma, kayıtları önceden belirlenmiş sınıflardan birine atar. Girdi olarak yaş, işlem tutarı, işlem saati ve geçmiş davranışlar; hedef olarak da “normal” veya “şüpheli” etiketi verilebilir. Model yeni bir kayıt için sınıf tahmini üretir.

Örneğin geçmiş işlemlerde hedef sütunu supheli olan bir tablo düşünün:


Yeni işlem için modelin çıktısı supheli = evet olabilir. Bu sonuç işlemin kesin olarak sahtekârlık olduğunu kanıtlamaz; yalnızca eğitim verisindeki örüntülere göre yüksek riskli sınıfa girdiğini gösterir. İş kuralı ve insan incelemesi gerekiyorsa model sonucu tek başına karar olarak kullanılmamalıdır.

Regresyon​

Regresyon, sayısal bir değeri tahmin eder. Satış tahmini, teslimat süresi veya enerji tüketimi buna örnektir. Burada hedef, sınıf kimliği yerine miktar veya süre gibi sayısal bir büyüklüktür. Sınıfların 0 ve 1 ile kodlanması onları regresyon hedefi yapmaz; problem türünü sayının yazımı değil anlamı belirler. Tahmin hatasını değerlendirirken yalnızca tek bir kayda bakmak yerine ayrı test verisindeki ortalama hata gibi ölçüler kullanılmalıdır.

Kümeleme​

Kümeleme, hedef etiketi verilmemiş kayıtları benzerliklerine göre gruplar. Müşteri yaşı, alışveriş sıklığı ve ortalama harcama gibi değişkenlerle üç grup oluşabilir: düşük harcama yapanlar, düzenli müşteriler ve yüksek harcama yapanlar. Bu adlar modelin otomatik olarak bildiği gerçek kategoriler değildir; kümelerin özellikleri sonradan incelenerek yorumlanır.

Birliktelik analizi​

Birliktelik analizi, aynı işlem veya sepette birlikte görülen öğeleri bulur. “A ürününü alanların B ürününü alma eğilimi yüksektir” biçiminde kurallar üretebilir. Böyle bir ilişki, A ürününün B ürününe kesin olarak neden olduğunu göstermez; yalnızca veri kümesinde birlikte görülme eğilimini ifade eder.

Aykırı değer analizi ve boyut indirgeme​

Aykırı değer analizi, diğer kayıtlardan belirgin biçimde ayrılan gözlemleri işaretler. Bunlar veri hatası, ölçüm sorunu veya gerçekten önemli bir olay olabilir; bu nedenle otomatik olarak silinmemelidir.

Boyut indirgeme ise çok sayıdaki değişkeni daha az sayıda bileşenle temsil eder. Görselleştirme ve modelleme kolaylaşabilir; ancak bazı ayrıntılar kaybolabileceğinden indirgeme öncesi ve sonrası bilgi kaybı değerlendirilmelidir.

Uygun yöntemi seçmek için kısa yol​

1. Hedef sütununu belirleyin. Bilinen hedef kategori ise sınıflandırma, sayısal değer ise regresyon; hedef yoksa kümeleme veya birliktelik analizi düşünün.
2. Veriyi hazırlayın. Eksik değerleri, yinelenen kayıtları, yanlış veri türlerini ve ölçüm birimlerini kontrol edin. Eğitim ve değerlendirme verisini birbirine karıştırmayın.
3. Soruyu tek bir ölçüyle sınırlamayın. Sınıflandırmada doğruluk tek başına yeterli olmayabilir; özellikle nadir olaylarda yanlış pozitif ve yanlış negatif sonuçlarını ayrıca inceleyin.
4. Sonucu alan bilgisiyle doğrulayın. Modelin bulduğu ilişki gerçek bir örüntü, veri toplama hatası veya tesadüfi bir bağlantı olabilir.
5. Sonucu yeni veride sınayın. Eğitim verisinde başarılı görünen model, daha önce görmediği kayıtlar üzerinde de benzer sonuç vermiyorsa kullanılmaya hazır değildir.

Veri madenciliği bir örüntü bulma aracıdır; tek başına nedensellik, kesin karar veya geleceğin garantisini sağlamaz. En güvenilir yaklaşım, doğru problem türünü seçmek, veriyi temizlemek, sonucu ayrı test verisiyle ölçmek ve bulguyu alan bilgisiyle birlikte yorumlamaktır.