Kümeleme, benzer özelliklere sahip verileri önceden belirlenmiş etiketler olmadan gruplara ayırma yöntemidir. Örneğin müşterileri satın alma davranışlarına göre gruplamak istiyorsanız, algoritma her müşterinin hangi gruba ait olduğunu hazır bir sınıflandırma listesinden seçmez; verideki benzerlikleri inceleyerek kümeleri kendisi oluşturur. Sonuç, veriyi anlamayı, farklı kullanıcı tiplerini keşfetmeyi veya sonraki analizleri kolaylaştırır; ancak bir kümenin neden oluştuğunu ve bunun iş açısından doğru bir anlam taşıyıp taşımadığını ayrıca yorumlamanız gerekir.
Kümeleme algoritması, her veri kaydını bazı özellikleriyle temsil eder ve kayıtlar arasındaki benzerliği hesaplar. Benzer kayıtlar aynı kümeye, birbirinden uzak kayıtlar farklı kümelere yerleştirilmeye çalışılır. Kullanılan benzerlik ölçüsü ve algoritma, sonucun biçimini doğrudan etkiler.
Örneğin aşağıdaki varsayımsal müşteri verileri kullanılsın:
Bu veride A, B ve E birbirine daha yakın; C ve D ise hem alışveriş sayısı hem de sepet tutarı bakımından birbirine daha yakındır. Uygun bir algoritma, örnek olarak şu kümeleri üretebilir:
Bu çıktı, ilk kümenin daha az ve düşük tutarlı alışveriş yapan müşterilerden, ikinci kümenin ise daha sık ve yüksek tutarlı alışveriş yapan müşterilerden oluşabileceğini düşündürür. Bu yalnızca verideki benzerliği gösterir; müşterilerin kesin olarak “düşük değerli” veya “sadık” olduğunu tek başına kanıtlamaz. Kümelere anlam vermek için sonuçları iş bilgisiyle ve mümkünse farklı dönemlerden alınan verilerle kontrol etmek gerekir.
Kümeleme ve sınıflandırma sık karıştırılır. Temel ayrım, sınıflandırmada hedef etiketlerin önceden bulunması; kümelemede ise grupların veriden keşfedilmesidir.
Bu nedenle kümeleme, “Bu kayıt hangi bilinen sınıfa ait?” sorusundan çok “Bu veride hangi doğal gruplar var?” sorusuna yanıt arar. Küme adları da genellikle algoritma tarafından anlamlı biçimde verilmez;
K-merkezli yöntemler, verileri belirli sayıda kümeye ayırır. K-means bunun bilinen örneklerinden biridir. K-means kullanırken küme sayısının, yani
Hiyerarşik kümeleme, verileri birleştirerek veya bölerek ağaç biçiminde bir yapı oluşturur. Böylece farklı küme sayılarında verinin nasıl gruplanacağı incelenebilir. Özellikle veri grupları arasındaki yakınlığı görselleştirmek istediğinizde yararlı olabilir.
Yoğunluk temelli yöntemler, birbirine yakın ve yoğun bölgeleri küme olarak bulmaya çalışır. Bu yaklaşım, küre biçiminde olmayan kümelerde veya aykırı değerleri ayırmada avantaj sağlayabilir; ancak yoğunluk farkları ve uzaklık ölçümü sonucu etkileyebilir.
Algoritma seçimi, yalnızca yöntemin popülerliğine göre yapılmamalıdır. Küme biçimi, veri ölçeği, aykırı değerler, beklenen küme sayısı ve sonuçların yorumlanabilirliği birlikte değerlendirilmelidir.
Önce sayısal özelliklerin ölçeklerini kontrol edin. Örneğin gelir değeri binlerce birimle, alışveriş sayısı ise küçük tam sayılarla ifade ediliyorsa, uzaklık temelli bir algoritma geliri aşırı etkili kabul edebilir. Gerekirse özellikleri aynı ölçeğe yaklaştırmak gerekir.
Daha sonra farklı küme sayıları veya uygun algoritmalar karşılaştırılır. Küme içindeki kayıtların birbirine yeterince benzemesi ve farklı kümelerin birbirinden ayrılması beklenir. Bunun yanında yalnızca sayısal bir kalite puanına güvenilmemelidir. Bir sonuç matematiksel olarak iyi ayrılmış görünse bile iş açısından kullanışsız veya tesadüfi olabilir.
Aykırı değerler de ayrıca incelenmelidir. Tek bir olağandışı kayıt, bazı yöntemlerde küme merkezlerini değiştirebilir. Böyle bir kaydı otomatik olarak silmek yerine bunun veri hatası mı, gerçek ama nadir bir durum mu olduğunu belirlemek gerekir.
Kümeleme nedensellik kanıtlamaz. Aynı kümeye giren iki müşteri grubunun aynı davranışın nedenine sahip olduğu sonucuna doğrudan varılamaz. Ayrıca kümeler kalıcı olmak zorunda değildir; yeni veriler eklendiğinde merkezler, sınırlar veya küme sayısı değişebilir.
Kullanılan özellikler de sonucu sınırlar. Bir davranış verisi modele eklenmemişse algoritma bu davranışa göre anlamlı bir ayrım yapamaz. Hassas veya kişisel veriler kullanılıyorsa verinin toplanma amacı, işlenme koşulları ve erişim yetkileri ayrıca değerlendirilmelidir; teknik olarak kümelenebiliyor olması, her kullanımın otomatik olarak uygun olduğu anlamına gelmez.
Sonuçları kullanmadan önce her kümenin hangi özelliklerle ayrıldığını, aykırı kayıtların sonucu etkileyip etkilemediğini ve farklı veri örneklerinde benzer yapıların görülüp görülmediğini kontrol edin. Küme adını ve iş yorumunu, algoritmanın verdiği etiketten değil, bu incelemeden türetin.
Kümeleme nasıl çalışır?
Kümeleme algoritması, her veri kaydını bazı özellikleriyle temsil eder ve kayıtlar arasındaki benzerliği hesaplar. Benzer kayıtlar aynı kümeye, birbirinden uzak kayıtlar farklı kümelere yerleştirilmeye çalışılır. Kullanılan benzerlik ölçüsü ve algoritma, sonucun biçimini doğrudan etkiler.
Örneğin aşağıdaki varsayımsal müşteri verileri kullanılsın:
Kod:
Müşteri | Aylık alışveriş sayısı | Ortalama sepet tutarı
A | 2 | 150
B | 3 | 180
C | 12 | 950
D | 14 | 1.100
E | 1 | 120Bu veride A, B ve E birbirine daha yakın; C ve D ise hem alışveriş sayısı hem de sepet tutarı bakımından birbirine daha yakındır. Uygun bir algoritma, örnek olarak şu kümeleri üretebilir:
Kod:
Küme 1: A, B, E
Küme 2: C, DBu çıktı, ilk kümenin daha az ve düşük tutarlı alışveriş yapan müşterilerden, ikinci kümenin ise daha sık ve yüksek tutarlı alışveriş yapan müşterilerden oluşabileceğini düşündürür. Bu yalnızca verideki benzerliği gösterir; müşterilerin kesin olarak “düşük değerli” veya “sadık” olduğunu tek başına kanıtlamaz. Kümelere anlam vermek için sonuçları iş bilgisiyle ve mümkünse farklı dönemlerden alınan verilerle kontrol etmek gerekir.
Kümeleme ile sınıflandırma arasındaki fark
Kümeleme ve sınıflandırma sık karıştırılır. Temel ayrım, sınıflandırmada hedef etiketlerin önceden bulunması; kümelemede ise grupların veriden keşfedilmesidir.
| Ölçüt | Kümeleme | Sınıflandırma |
|---|---|---|
| Etiket | Başlangıçta hazır etiket gerekmez. | Eğitim verisinde bilinen etiketler bulunur. |
| Amaç | Bilinmeyen grupları veya doğal yapıları keşfetmek. | Yeni veriyi bilinen sınıflardan birine atamak. |
| Örnek | Müşterileri davranış benzerliğine göre gruplamak. | Bir e-postayı spam veya normal olarak sınıflandırmak. |
| Başarı değerlendirmesi | Küme içi benzerlik, kümeler arası ayrım ve alan bilgisi incelenir. | Doğru tahmin, kesinlik, duyarlılık gibi ölçütler kullanılabilir. |
Küme 1 ve Küme 2 adlarını, içeriklerini inceledikten sonra siz yorumlarsınız.Yaygın kümeleme yaklaşımları
K-merkezli yöntemler, verileri belirli sayıda kümeye ayırır. K-means bunun bilinen örneklerinden biridir. K-means kullanırken küme sayısının, yani
k değerinin önceden seçilmesi gerekir. k çok düşük seçilirse farklı gruplar birleşebilir; çok yüksek seçilirse anlamsız küçük kümeler oluşabilir.Hiyerarşik kümeleme, verileri birleştirerek veya bölerek ağaç biçiminde bir yapı oluşturur. Böylece farklı küme sayılarında verinin nasıl gruplanacağı incelenebilir. Özellikle veri grupları arasındaki yakınlığı görselleştirmek istediğinizde yararlı olabilir.
Yoğunluk temelli yöntemler, birbirine yakın ve yoğun bölgeleri küme olarak bulmaya çalışır. Bu yaklaşım, küre biçiminde olmayan kümelerde veya aykırı değerleri ayırmada avantaj sağlayabilir; ancak yoğunluk farkları ve uzaklık ölçümü sonucu etkileyebilir.
Algoritma seçimi, yalnızca yöntemin popülerliğine göre yapılmamalıdır. Küme biçimi, veri ölçeği, aykırı değerler, beklenen küme sayısı ve sonuçların yorumlanabilirliği birlikte değerlendirilmelidir.
Kümeleme sonucu nasıl değerlendirilir?
Önce sayısal özelliklerin ölçeklerini kontrol edin. Örneğin gelir değeri binlerce birimle, alışveriş sayısı ise küçük tam sayılarla ifade ediliyorsa, uzaklık temelli bir algoritma geliri aşırı etkili kabul edebilir. Gerekirse özellikleri aynı ölçeğe yaklaştırmak gerekir.
Daha sonra farklı küme sayıları veya uygun algoritmalar karşılaştırılır. Küme içindeki kayıtların birbirine yeterince benzemesi ve farklı kümelerin birbirinden ayrılması beklenir. Bunun yanında yalnızca sayısal bir kalite puanına güvenilmemelidir. Bir sonuç matematiksel olarak iyi ayrılmış görünse bile iş açısından kullanışsız veya tesadüfi olabilir.
Aykırı değerler de ayrıca incelenmelidir. Tek bir olağandışı kayıt, bazı yöntemlerde küme merkezlerini değiştirebilir. Böyle bir kaydı otomatik olarak silmek yerine bunun veri hatası mı, gerçek ama nadir bir durum mu olduğunu belirlemek gerekir.
Kümeleme neyi sağlamaz?
Kümeleme nedensellik kanıtlamaz. Aynı kümeye giren iki müşteri grubunun aynı davranışın nedenine sahip olduğu sonucuna doğrudan varılamaz. Ayrıca kümeler kalıcı olmak zorunda değildir; yeni veriler eklendiğinde merkezler, sınırlar veya küme sayısı değişebilir.
Kullanılan özellikler de sonucu sınırlar. Bir davranış verisi modele eklenmemişse algoritma bu davranışa göre anlamlı bir ayrım yapamaz. Hassas veya kişisel veriler kullanılıyorsa verinin toplanma amacı, işlenme koşulları ve erişim yetkileri ayrıca değerlendirilmelidir; teknik olarak kümelenebiliyor olması, her kullanımın otomatik olarak uygun olduğu anlamına gelmez.
Sonuçları kullanmadan önce her kümenin hangi özelliklerle ayrıldığını, aykırı kayıtların sonucu etkileyip etkilemediğini ve farklı veri örneklerinde benzer yapıların görülüp görülmediğini kontrol edin. Küme adını ve iş yorumunu, algoritmanın verdiği etiketten değil, bu incelemeden türetin.
