Garfield
YZF Admin
İyi bir kümeleme veri kümesi; gözlemleri aynı ölçekte karşılaştırılabilen, küme yapısını temsil eden yeterli sayıda satır içeren, değişkenleri amaca uygun ve aşırı gürültüden arındırılmış veri kümesidir. Seçim yaparken önce “neyi benzer kabul edeceğinizi” tanımlayın; ardından gözlem birimini, kullanılacak değişkenleri, eksik ve aykırı değerleri, ölçek farklarını ve veri kümesinin gerçek problemi temsil edip etmediğini kontrol edin. Bu incelemenin sonunda yalnızca algoritmayı çalıştırmış olmaz, elde ettiğiniz kümelerin anlamlı ve kullanılabilir olup olmadığını da değerlendirebilirsiniz.
Kümeleme, etiket verilmemiş gözlemleri benzerliklerine göre gruplar. Bu nedenle veri kümesi seçmeden önce her satırın neyi temsil ettiğini açıkça belirleyin. Örneğin müşteri segmentasyonu yapıyorsanız bir satır tek bir müşteriyi, değişkenler ise satın alma sıklığı, toplam harcama ve ürün çeşitliliğini temsil edebilir. Aynı tabloda bazı satırlar müşteri, bazıları sipariş olursa algoritma anlamlı bir müşteri kümesi üretemez.
Kullanacağınız değişkenler de doğrudan soruyla ilişkili olmalıdır. Müşteri kimliği, kayıt numarası veya işlem sırası gibi benzersiz alanlar benzerlik hesabına katılmamalıdır. Bu tür alanlar her gözlemi yapay biçimde farklılaştırır. Hedef değişken olarak kullanılan etiketler de, denetimsiz kümeleme yapıyorsanız, kümeyi oluşturma aşamasında kullanılmamalıdır; bunlar ancak sonuçları sonradan yorumlamak için tutulabilir.
Aşağıdaki ölçütler, bir veri kümesinin kümeleme için uygun olup olmadığını hızlıca değerlendirmeyi sağlar.
Tablodaki ölçütleri geçtikten sonra veri kümesini yalnızca satır sayısına bakarak seçmeyin. Çok fazla satır, zayıf veya ilgisiz değişkenleri düzeltmez. Buna karşılık az satırlı bir veri kümesi, basit bir keşif için kullanılabilir; fakat çok sayıda değişken içeren karmaşık bir modelde kümeler kararsızlaşabilir. Kümelerin farklı örneklemlerde benzer biçimde ortaya çıkıp çıkmadığını ayrıca test etmek gerekir.
K-means gibi yöntemler genellikle sayısal değişkenler ve uzaklık hesabı üzerine kuruludur. Metin, kategori veya tarih alanlarını doğrudan sayıya çevirmek, her zaman anlamlı bir uzaklık oluşturmaz. Örneğin “şehir” alanına İstanbul=1, Ankara=2, İzmir=3 vermek, şehirler arasında bu sayısal sıraya dayalı bir mesafe varmış gibi sonuç doğurur. Kategorik değişkenler için uygun kodlama ve kategori uzaklığı kullanan yöntemler seçilmelidir.
Tarih alanlarını da ham biçimde kullanmak yerine probleme uygun özelliklere dönüştürün. Bir işlem tarihinden yıl, ay, hafta günü veya son işlemden beri geçen gün sayısı çıkarılabilir. Ancak hangi dönüşümün kullanılacağı, kümelerin hangi davranışı ayırması istendiğine bağlıdır.
Uzaklık tabanlı yöntemlerde değişken ölçekleri sonucu doğrudan etkiler. Gelir binlerce birimle, satın alma sıklığı ise küçük tam sayılarla ölçülüyorsa gelir değişkeni uzaklık hesabında baskın olabilir. Bu durumda değişkenleri standartlaştırmak veya uygun bir normalleştirme yöntemi uygulamak gerekir. Ölçekleme yalnızca eğitim verisine göre hesaplanmalı; veri bölünmüşse doğrulama veya test bölümünün bilgisi önceden kullanılmamalıdır.
Eksik değerleri otomatik olarak sıfırla doldurmak güvenli bir varsayım değildir. Sıfır, bazı alanlarda gerçek bir anlam taşırken bazı alanlarda “bilinmiyor” anlamına gelebilir. Eksikliği doldurma, satırı çıkarma veya ayrı bir kategori kullanma kararı verinin anlamına göre alınmalıdır. Aykırı değerleri de doğrudan silmeyin; bunlar hata, dolandırıcılık, nadir müşteri davranışı veya gerçekten önemli bir grup olabilir.
Varsayımsal olarak 1.000 müşteriden oluşan bir tabloda şu alanlar bulunsun: aylık sipariş sayısı, son 12 aydaki toplam harcama, ortalama sepet tutarı ve son alışverişten beri geçen gün sayısı. Her satır tek müşteriyi temsil ediyor, kimlik alanı modele verilmiyor, eksik değerler inceleniyor ve sayısal değişkenler ölçekleniyorsa bu veri kümesi müşteri davranışı kümeleri için başlangıçta uygundur.
Model sonucunda “sık alışveriş yapan düşük harcama grubu” ve “seyrek alışveriş yapan yüksek harcama grubu” gibi kümeler oluşabilir. Bu çıktı, müşterilerin doğal ve değişmez sınıflara ayrıldığını kanıtlamaz. Yalnızca seçilen değişkenler, uzaklık ölçüsü ve algoritma altında benzer davranış örüntüleri bulunduğunu gösterir. Kümeleri farklı başlangıçlarla veya farklı örneklem bölümleriyle karşılaştırın; sonuçlar büyük ölçüde değişiyorsa veri kümesi, ön işleme veya algoritma seçimi yeniden incelenmelidir.
Son olarak kümeleri yalnızca algoritmanın ürettiği numaralara göre adlandırmayın. Her kümenin değişken ortalamalarını, dağılımlarını ve gözlem sayısını karşılaştırın. Çok küçük bir küme, gerçek ve değerli bir niş grup olabileceği gibi aykırı değerlerin sonucu da olabilir. Kümeler iş hedefiyle ilişkilendirilemiyor veya tekrarlandığında korunmuyorsa daha fazla değişken eklemek yerine önce gözlem birimini, uzaklık ölçüsünü ve veri kalitesini yeniden değerlendirin.
Önce benzerlik ölçüsünü tanımlayın
Kümeleme, etiket verilmemiş gözlemleri benzerliklerine göre gruplar. Bu nedenle veri kümesi seçmeden önce her satırın neyi temsil ettiğini açıkça belirleyin. Örneğin müşteri segmentasyonu yapıyorsanız bir satır tek bir müşteriyi, değişkenler ise satın alma sıklığı, toplam harcama ve ürün çeşitliliğini temsil edebilir. Aynı tabloda bazı satırlar müşteri, bazıları sipariş olursa algoritma anlamlı bir müşteri kümesi üretemez.
Kullanacağınız değişkenler de doğrudan soruyla ilişkili olmalıdır. Müşteri kimliği, kayıt numarası veya işlem sırası gibi benzersiz alanlar benzerlik hesabına katılmamalıdır. Bu tür alanlar her gözlemi yapay biçimde farklılaştırır. Hedef değişken olarak kullanılan etiketler de, denetimsiz kümeleme yapıyorsanız, kümeyi oluşturma aşamasında kullanılmamalıdır; bunlar ancak sonuçları sonradan yorumlamak için tutulabilir.
Veri kümesini şu ölçütlerle elekten geçirin
Aşağıdaki ölçütler, bir veri kümesinin kümeleme için uygun olup olmadığını hızlıca değerlendirmeyi sağlar.
| Ölçüt | Uygunluk işareti | Riskli durum |
|---|---|---|
| Gözlem birimi | Her satır aynı tür varlığı temsil eder. | Satırlar farklı düzeyleri veya farklı varlıkları karıştırır. |
| Değişkenler | Benzerliği açıklayan sayısal ya da uygun biçimde dönüştürülmüş alanlar vardır. | Kimlik, sıra numarası veya ilgisiz alanlar baskındır. |
| Ölçek | Değişkenler karşılaştırılabilir aralığa getirilmiştir. | Büyük değerli tek bir değişken uzaklık hesabını domine eder. |
| Eksik değerler | Eksiklerin oranı ve nasıl ele alınacağı bilinmektedir. | Eksikler rastgele değildir veya kritik alanların çoğu boştur. |
| Aykırı değerler | Gerçek ve önemli gözlemler olarak ayrıca incelenmiştir. | Birkaç uç değer tüm kümeleri belirler. |
| Küme yapısı | Gözlemler arasında ölçülebilir benzerlik ve ayrışma vardır. | Veri tek bir sürekli dağılım oluşturur veya kümeler yalnızca gürültüdür. |
Değişken türünü algoritmayla eşleştirin
K-means gibi yöntemler genellikle sayısal değişkenler ve uzaklık hesabı üzerine kuruludur. Metin, kategori veya tarih alanlarını doğrudan sayıya çevirmek, her zaman anlamlı bir uzaklık oluşturmaz. Örneğin “şehir” alanına İstanbul=1, Ankara=2, İzmir=3 vermek, şehirler arasında bu sayısal sıraya dayalı bir mesafe varmış gibi sonuç doğurur. Kategorik değişkenler için uygun kodlama ve kategori uzaklığı kullanan yöntemler seçilmelidir.
Tarih alanlarını da ham biçimde kullanmak yerine probleme uygun özelliklere dönüştürün. Bir işlem tarihinden yıl, ay, hafta günü veya son işlemden beri geçen gün sayısı çıkarılabilir. Ancak hangi dönüşümün kullanılacağı, kümelerin hangi davranışı ayırması istendiğine bağlıdır.
Ölçekleme ve ön işleme kararını verin
Uzaklık tabanlı yöntemlerde değişken ölçekleri sonucu doğrudan etkiler. Gelir binlerce birimle, satın alma sıklığı ise küçük tam sayılarla ölçülüyorsa gelir değişkeni uzaklık hesabında baskın olabilir. Bu durumda değişkenleri standartlaştırmak veya uygun bir normalleştirme yöntemi uygulamak gerekir. Ölçekleme yalnızca eğitim verisine göre hesaplanmalı; veri bölünmüşse doğrulama veya test bölümünün bilgisi önceden kullanılmamalıdır.
Eksik değerleri otomatik olarak sıfırla doldurmak güvenli bir varsayım değildir. Sıfır, bazı alanlarda gerçek bir anlam taşırken bazı alanlarda “bilinmiyor” anlamına gelebilir. Eksikliği doldurma, satırı çıkarma veya ayrı bir kategori kullanma kararı verinin anlamına göre alınmalıdır. Aykırı değerleri de doğrudan silmeyin; bunlar hata, dolandırıcılık, nadir müşteri davranışı veya gerçekten önemli bir grup olabilir.
Varsayımsal örnekle uygunluğu kontrol edin
Varsayımsal olarak 1.000 müşteriden oluşan bir tabloda şu alanlar bulunsun: aylık sipariş sayısı, son 12 aydaki toplam harcama, ortalama sepet tutarı ve son alışverişten beri geçen gün sayısı. Her satır tek müşteriyi temsil ediyor, kimlik alanı modele verilmiyor, eksik değerler inceleniyor ve sayısal değişkenler ölçekleniyorsa bu veri kümesi müşteri davranışı kümeleri için başlangıçta uygundur.
Model sonucunda “sık alışveriş yapan düşük harcama grubu” ve “seyrek alışveriş yapan yüksek harcama grubu” gibi kümeler oluşabilir. Bu çıktı, müşterilerin doğal ve değişmez sınıflara ayrıldığını kanıtlamaz. Yalnızca seçilen değişkenler, uzaklık ölçüsü ve algoritma altında benzer davranış örüntüleri bulunduğunu gösterir. Kümeleri farklı başlangıçlarla veya farklı örneklem bölümleriyle karşılaştırın; sonuçlar büyük ölçüde değişiyorsa veri kümesi, ön işleme veya algoritma seçimi yeniden incelenmelidir.
Son olarak kümeleri yalnızca algoritmanın ürettiği numaralara göre adlandırmayın. Her kümenin değişken ortalamalarını, dağılımlarını ve gözlem sayısını karşılaştırın. Çok küçük bir küme, gerçek ve değerli bir niş grup olabileceği gibi aykırı değerlerin sonucu da olabilir. Kümeler iş hedefiyle ilişkilendirilemiyor veya tekrarlandığında korunmuyorsa daha fazla değişken eklemek yerine önce gözlem birimini, uzaklık ölçüsünü ve veri kalitesini yeniden değerlendirin.
