Veri madenciliği, büyük veya karmaşık veri kümeleri içindeki tekrar eden örüntüleri, ilişkileri ve tahmin edilebilir davranışları ortaya çıkarma sürecidir. Ham veriyi yalnızca listelemek yerine sınıflandırma, kümeleme, ilişki analizi ve tahmin gibi yöntemlerle anlamlı bilgiye dönüştürürsünüz. Sonuç, karar vermeyi destekleyen bir model, kural veya bulgu olur; ancak veri madenciliği tek başına kesin neden-sonuç kanıtı üretmez.
Veri madenciliği; veritabanları, elektronik tablolar, uygulama kayıtları, sensör çıktıları veya web günlükleri gibi kaynaklardan yararlanır. Süreçte önce veri hazırlanır, ardından uygun yöntem seçilir ve elde edilen sonuç doğrulanır.
Örneğin bir çevrim içi mağazanın sipariş verilerini incelediğinizi varsayalım. Her satırda müşteri, ürün, tarih ve sipariş tutarı bilgileri bulunsun. Analiz sonucunda birlikte satın alınan ürünler belirlenebilir, müşteriler davranışlarına göre gruplandırılabilir veya bir müşterinin yeniden alışveriş yapma olasılığı tahmin edilebilir.
Bu çalışmanın girdisi sipariş kayıtlarıdır. İşleyişte eksik veya hatalı veriler temizlenir, ürün ve müşteri özellikleri karşılaştırılır, bir algoritma örüntü arar. Çıktı, örneğin “kahve alan müşteriler çoğu zaman filtre kâğıdı da alıyor” biçiminde bir ilişki kuralı ya da “bu müşteri grubunun yeniden alışveriş olasılığı daha yüksek” biçiminde bir tahmin olabilir. Bu çıktı, pazarlama veya stok planlamasında kullanılabilir; fakat ilişkinin kesin olarak nedensel olduğunu göstermez.
Yöntem, sorunun türüne göre seçilir. Elinizde hedef sonucu gösteren etiketli kayıtlar varsa tahmin veya sınıflandırma; yalnızca benzer kayıtları keşfetmek istiyorsanız kümeleme; birlikte görülen olayları bulmak istiyorsanız ilişki analizi daha uygun olabilir.
Tabloyu yorumlarken yöntemin ürettiği sonucun neyi ifade ettiğini ve neyi kanıtlamadığını ayırın. Örneğin bir anomali tespiti kaydı olağandışı olarak işaretleyebilir; bu durum tek başına işlemin hatalı veya kötü niyetli olduğunu kanıtlamaz. Ek kontrol yapılması gerekir.
Başarılı bir çalışma algoritmayı çalıştırmakla başlamaz. Önce hangi sorunun yanıtlanacağı belirlenir. “Satışları artırmak istiyorum” geniş bir hedeftir; “Önümüzdeki ay hangi müşterilerin yeniden sipariş verme olasılığı yüksek?” daha ölçülebilir bir sorudur.
Ardından kullanılacak veriler seçilir ve hazırlanır. Eksik değerler, yinelenen kayıtlar, yanlış tarih biçimleri ve tutarsız kategori adları sonucu bozabilir. Verinin bir bölümü modeli oluşturmak, başka bir bölümü ise modelin daha önce görmediği kayıtlar üzerindeki başarısını ölçmek için ayrılabilir.
Model oluşturulduktan sonra sonuçlar değerlendirilir. Sınıflandırmada doğruluk tek başına yeterli olmayabilir; özellikle bir sınıf diğerinden çok daha az görülüyorsa yanlış negatif ve yanlış pozitif sonuçlar ayrıca incelenmelidir. Kümelemede ise ortaya çıkan grupların iş açısından anlamlı olup olmadığı kontrol edilir. Bir modelin yüksek performans göstermesi, verinin temsil ettiği kapsam dışında da aynı sonucu vereceği anlamına gelmez.
Veri madenciliği, veri analizi ve makine öğrenmesiyle yakından ilişkilidir ancak aynı kavramlar değildir. Veri analizi daha geniş biçimde veriyi özetlemeyi, karşılaştırmayı ve yorumlamayı kapsar. Makine öğrenmesi, veriden öğrenen modeller geliştirmek için kullanılan yöntemleri ifade eder. Veri madenciliği ise bu yöntemleri, veri içindeki yararlı örüntüleri keşfetme amacıyla kullanabilir.
Büyük veri de bir yöntem değil, hacim, çeşitlilik veya üretim hızı nedeniyle geleneksel araçlarla işlenmesi zorlaşan veri kümelerini tanımlayan bir kavramdır. Büyük veri olmadan da veri madenciliği yapılabilir; küçük bir veri kümesinde bulunan örüntüler de incelenebilir.
Veri kaynağının kapsamını ve kalitesini kontrol edin. Geçmişteki kayıtlar belirli bir müşteri grubunu veya dönemi temsil ediyorsa modelin sonucu tüm kullanıcılar için geçerli olmayabilir. Ayrıca kişisel veya hassas verilerle çalışırken verinin hangi amaçla toplandığı, kimlerin erişebileceği ve ne kadar süre saklanacağı gibi koşullar dikkate alınmalıdır.
En güvenilir yaklaşım, keşfedilen örüntüyü bağımsız bir veri bölümüyle veya yeni kayıtlarla sınamak, ardından iş kuralına dönüştürmeden önce alan uzmanının değerlendirmesini almaktır. Veri madenciliğinin çıktısı karar vermeye yardımcı olur; insan değerlendirmesinin, veri kalitesi kontrolünün veya etik ve hukuki incelemenin yerine geçmez.
Veri madenciliği neyi inceler?
Veri madenciliği; veritabanları, elektronik tablolar, uygulama kayıtları, sensör çıktıları veya web günlükleri gibi kaynaklardan yararlanır. Süreçte önce veri hazırlanır, ardından uygun yöntem seçilir ve elde edilen sonuç doğrulanır.
Örneğin bir çevrim içi mağazanın sipariş verilerini incelediğinizi varsayalım. Her satırda müşteri, ürün, tarih ve sipariş tutarı bilgileri bulunsun. Analiz sonucunda birlikte satın alınan ürünler belirlenebilir, müşteriler davranışlarına göre gruplandırılabilir veya bir müşterinin yeniden alışveriş yapma olasılığı tahmin edilebilir.
Bu çalışmanın girdisi sipariş kayıtlarıdır. İşleyişte eksik veya hatalı veriler temizlenir, ürün ve müşteri özellikleri karşılaştırılır, bir algoritma örüntü arar. Çıktı, örneğin “kahve alan müşteriler çoğu zaman filtre kâğıdı da alıyor” biçiminde bir ilişki kuralı ya da “bu müşteri grubunun yeniden alışveriş olasılığı daha yüksek” biçiminde bir tahmin olabilir. Bu çıktı, pazarlama veya stok planlamasında kullanılabilir; fakat ilişkinin kesin olarak nedensel olduğunu göstermez.
Başlıca veri madenciliği yöntemleri
Yöntem, sorunun türüne göre seçilir. Elinizde hedef sonucu gösteren etiketli kayıtlar varsa tahmin veya sınıflandırma; yalnızca benzer kayıtları keşfetmek istiyorsanız kümeleme; birlikte görülen olayları bulmak istiyorsanız ilişki analizi daha uygun olabilir.
| Yöntem | Temel soru | Örnek çıktı |
|---|---|---|
| Sınıflandırma | Bir kayıt hangi kategoriye ait? | E-postanın istenmeyen veya normal olarak ayrılması |
| Tahmin | Sayısal ya da olasılıksal sonuç ne olabilir? | Gelecek ayki satış miktarının tahmini |
| Kümeleme | Benzer kayıtlar hangi gruplarda toplanıyor? | Benzer alışveriş davranışına sahip müşteri grupları |
| İlişki analizi | Hangi olaylar birlikte görülüyor? | Birlikte satın alınan ürünler |
| Anomali tespiti | Normal davranıştan hangi kayıtlar ayrılıyor? | Olağandışı giriş veya işlem kayıtları |
Veri madenciliği nasıl işler?
Başarılı bir çalışma algoritmayı çalıştırmakla başlamaz. Önce hangi sorunun yanıtlanacağı belirlenir. “Satışları artırmak istiyorum” geniş bir hedeftir; “Önümüzdeki ay hangi müşterilerin yeniden sipariş verme olasılığı yüksek?” daha ölçülebilir bir sorudur.
Ardından kullanılacak veriler seçilir ve hazırlanır. Eksik değerler, yinelenen kayıtlar, yanlış tarih biçimleri ve tutarsız kategori adları sonucu bozabilir. Verinin bir bölümü modeli oluşturmak, başka bir bölümü ise modelin daha önce görmediği kayıtlar üzerindeki başarısını ölçmek için ayrılabilir.
Model oluşturulduktan sonra sonuçlar değerlendirilir. Sınıflandırmada doğruluk tek başına yeterli olmayabilir; özellikle bir sınıf diğerinden çok daha az görülüyorsa yanlış negatif ve yanlış pozitif sonuçlar ayrıca incelenmelidir. Kümelemede ise ortaya çıkan grupların iş açısından anlamlı olup olmadığı kontrol edilir. Bir modelin yüksek performans göstermesi, verinin temsil ettiği kapsam dışında da aynı sonucu vereceği anlamına gelmez.
Veri madenciliği ile benzer kavramlar arasındaki fark
Veri madenciliği, veri analizi ve makine öğrenmesiyle yakından ilişkilidir ancak aynı kavramlar değildir. Veri analizi daha geniş biçimde veriyi özetlemeyi, karşılaştırmayı ve yorumlamayı kapsar. Makine öğrenmesi, veriden öğrenen modeller geliştirmek için kullanılan yöntemleri ifade eder. Veri madenciliği ise bu yöntemleri, veri içindeki yararlı örüntüleri keşfetme amacıyla kullanabilir.
Büyük veri de bir yöntem değil, hacim, çeşitlilik veya üretim hızı nedeniyle geleneksel araçlarla işlenmesi zorlaşan veri kümelerini tanımlayan bir kavramdır. Büyük veri olmadan da veri madenciliği yapılabilir; küçük bir veri kümesinde bulunan örüntüler de incelenebilir.
Sonuçları kullanırken dikkat edilmesi gerekenler
Veri kaynağının kapsamını ve kalitesini kontrol edin. Geçmişteki kayıtlar belirli bir müşteri grubunu veya dönemi temsil ediyorsa modelin sonucu tüm kullanıcılar için geçerli olmayabilir. Ayrıca kişisel veya hassas verilerle çalışırken verinin hangi amaçla toplandığı, kimlerin erişebileceği ve ne kadar süre saklanacağı gibi koşullar dikkate alınmalıdır.
En güvenilir yaklaşım, keşfedilen örüntüyü bağımsız bir veri bölümüyle veya yeni kayıtlarla sınamak, ardından iş kuralına dönüştürmeden önce alan uzmanının değerlendirmesini almaktır. Veri madenciliğinin çıktısı karar vermeye yardımcı olur; insan değerlendirmesinin, veri kalitesi kontrolünün veya etik ve hukuki incelemenin yerine geçmez.
