Garfield
YZF Admin
Hiyerarşik kümeleme, benzer gözlemleri bir ağaç yapısı içinde gruplayan gözetimsiz öğrenme yöntemidir. Her gözlemin hangi kümeye ait olduğunu baştan belirtmeniz gerekmez; algoritma benzerlik veya uzaklık ölçüsüne göre kümeleri oluşturur. Sonuç, farklı ayrıntı düzeylerinde incelenebilen bir dendrogramdır. Uygun uzaklık ve birleştirme yöntemini seçerek hem doğal grup yapısını görebilir hem de istediğiniz noktada kümeleri ayırabilirsiniz.
En yaygın yaklaşım olan birleştirici hiyerarşik kümelemede her gözlem başlangıçta tek başına bir kümedir. Algoritma, birbirine en yakın kümeleri birleştirerek tek bir küme kalana kadar ilerler. Her birleşme dendrogram üzerinde bir dal yüksekliğiyle gösterilir. Bu yükseklik, birleştirilen kümeler arasındaki uzaklığı veya farklılığı ifade eder.
Örneğin dört müşterinin iki özellik bakımından şu değerlere sahip olduğunu varsayalım:
A ile B, C ile D birbirine yakın olduğu için önce bu çiftlerin birleşmesi beklenir. Daha sonra AB ve CD kümeleri karşılaştırılır. Dendrogramı, iki büyük grup birleşmeden hemen önce yatay bir çizgiyle keserseniz iki küme elde edersiniz: sık alışveriş yapan düşük harcamalı müşteriler ve seyrek alışveriş yapan yüksek harcamalı müşteriler. Bu sonuç, müşterilerin gerçekten bu davranışlara sahip olduğunu kanıtlamaz; yalnızca seçtiğiniz özellikler ve uzaklık ölçüsüne göre benzerlik bulunduğunu gösterir.
Dendrogramdaki yatay eksen genellikle gözlemleri, dikey eksen ise kümelerin hangi uzaklık düzeyinde birleştiğini gösterir. Ağacın belirli bir yüksekliğinde yatay bir kesim yaptığınızda, çizginin kestiği dal sayısı küme sayısını verir. Kesim yüksekliği yükseldikçe daha az, düştükçe daha fazla küme oluşur.
Büyük bir birleşme yüksekliği, birbirinden daha farklı iki grubun birleştirildiğini gösterebilir. Bu nedenle kümeler arasında belirgin boşluk varsa kesim çizgisini bu boşluğun altına yerleştirmek mantıklı bir başlangıçtır. Ancak dendrogram tek başına doğru küme sayısını belirlemez; alan bilgisi, küme içi benzerlik ve gerekirse ek değerlendirme ölçütleri de dikkate alınmalıdır.
Sonuç, yalnızca verilerin kendisine değil, gözlemler arasındaki uzaklığın ve kümeler arasındaki mesafenin nasıl tanımlandığına da bağlıdır. Özelliklerin ölçü birimleri farklıysa büyük sayısal aralığa sahip özellikler uzaklığı baskılayabilir. Bu nedenle yaş, gelir ve işlem sayısı gibi farklı ölçeklerdeki değişkenlerde standardizasyon yapılması çoğu durumda gereklidir.
Kullanılan yaygın birleştirme yöntemleri ve tipik etkileri şöyledir:
Bu yöntemler aynı veri üzerinde farklı dendrogramlar üretebilir. Örneğin tek bağlantı uzun bir zincir oluşturabilirken Ward yöntemi daha kompakt gruplar çıkarabilir. Bu yüzden yöntemi, yalnızca daha fazla küme ürettiği için değil, sorunuzdaki “benzerlik” tanımına uygun olduğu için seçmelisiniz. Kategorik verilerde doğrudan Öklid uzaklığı kullanmak yerine veri türüne uygun bir benzerlik veya uzaklık ölçüsü seçmek gerekir.
Küme sayısını önceden bilmediğiniz ve verinin grup yapısını keşfetmek istediğiniz durumlarda özellikle kullanışlıdır. Dendrogram sayesinde yalnızca tek bir küme çözümüne bağlı kalmadan iki, üç veya daha fazla kümeli sonuçları karşılaştırabilirsiniz. Küçük ve orta boyutlu veri kümelerinde yorumlanması da genellikle kolaydır.
Buna karşılık gözlem sayısı çok büyüdüğünde uzaklık hesapları ve dendrogramın yorumlanması zorlaşabilir. Yöntem, aykırı değerlere, ölçek farklarına ve seçilen uzaklık ölçüsüne duyarlıdır. Ayrıca hiyerarşik kümeleme, kümelerin dış dünyada gerçekten var olduğunu veya bulunan grupların nedensel olarak farklılaştığını göstermez. Yalnızca verilen değişkenler üzerinden bir benzerlik düzeni sunar.
Önce verileri temizleyip özelliklerin ölçeklerini inceleyin. Ardından uygun uzaklık ve birleştirme yöntemleriyle dendrogramı oluşturun. Olası kesim noktalarında oluşan kümeleri karşılaştırın; her kümenin gözlem sayısını, değişken ortalamalarını ve aykırı gözlemlerini inceleyin. Kümelerden biri yalnızca tek bir aykırı gözlemden oluşuyorsa bunu doğrudan anlamlı bir grup kabul etmeyin.
Son olarak kümeleri, asıl kullanım amacınız açısından yorumlayın. Pazarlama amacıyla yapılan müşteri kümelerinde her grubun davranışsal olarak ayırt edilebilir olması beklenir; ancak bu gruplara uygulanacak işlem, yalnızca kümeleme sonucuna değil, iş kurallarına ve veri kalitesine göre belirlenmelidir. Yeni veriler geldiğinde aynı ön işleme ve uzaklık yaklaşımını korumadan sonuçları doğrudan karşılaştırmak yanıltıcı olabilir.
Hiyerarşik kümeleme nasıl çalışır?
En yaygın yaklaşım olan birleştirici hiyerarşik kümelemede her gözlem başlangıçta tek başına bir kümedir. Algoritma, birbirine en yakın kümeleri birleştirerek tek bir küme kalana kadar ilerler. Her birleşme dendrogram üzerinde bir dal yüksekliğiyle gösterilir. Bu yükseklik, birleştirilen kümeler arasındaki uzaklığı veya farklılığı ifade eder.
Örneğin dört müşterinin iki özellik bakımından şu değerlere sahip olduğunu varsayalım:
| Müşteri | Aylık harcama | Alışveriş sıklığı |
|---|---|---|
| A | 10 | 9 |
| B | 11 | 8 |
| C | 40 | 2 |
| D | 42 | 1 |
Dendrogram nasıl yorumlanır?
Dendrogramdaki yatay eksen genellikle gözlemleri, dikey eksen ise kümelerin hangi uzaklık düzeyinde birleştiğini gösterir. Ağacın belirli bir yüksekliğinde yatay bir kesim yaptığınızda, çizginin kestiği dal sayısı küme sayısını verir. Kesim yüksekliği yükseldikçe daha az, düştükçe daha fazla küme oluşur.
Büyük bir birleşme yüksekliği, birbirinden daha farklı iki grubun birleştirildiğini gösterebilir. Bu nedenle kümeler arasında belirgin boşluk varsa kesim çizgisini bu boşluğun altına yerleştirmek mantıklı bir başlangıçtır. Ancak dendrogram tek başına doğru küme sayısını belirlemez; alan bilgisi, küme içi benzerlik ve gerekirse ek değerlendirme ölçütleri de dikkate alınmalıdır.
Uzaklık ve birleştirme yöntemi seçimi
Sonuç, yalnızca verilerin kendisine değil, gözlemler arasındaki uzaklığın ve kümeler arasındaki mesafenin nasıl tanımlandığına da bağlıdır. Özelliklerin ölçü birimleri farklıysa büyük sayısal aralığa sahip özellikler uzaklığı baskılayabilir. Bu nedenle yaş, gelir ve işlem sayısı gibi farklı ölçeklerdeki değişkenlerde standardizasyon yapılması çoğu durumda gereklidir.
Kullanılan yaygın birleştirme yöntemleri ve tipik etkileri şöyledir:
| Yöntem | Kümeler arasındaki uzaklık | Ne zaman tercih edilebilir? |
|---|---|---|
| Tek bağlantı | En yakın iki gözlem arasındaki uzaklık | Zincir biçimli kümeleri yakalamak istendiğinde; gürültüye duyarlı olabilir. |
| Tam bağlantı | En uzak iki gözlem arasındaki uzaklık | Daha sıkı ve kompakt kümeler gerektiğinde. |
| Ortalama bağlantı | Kümelerdeki gözlem çiftlerinin ortalama uzaklığı | Tek ve tam bağlantı arasında dengeli bir seçenek gerektiğinde. |
| Ward yöntemi | Öklid geometrisinde küme içi kareli sapmalar toplamındaki artışı en aza indiren birleşme | Sayısal verilerde yaklaşık yuvarlak ve benzer büyüklükte kümeler bekleniyorsa. |
Hiyerarşik kümeleme ne zaman uygundur?
Küme sayısını önceden bilmediğiniz ve verinin grup yapısını keşfetmek istediğiniz durumlarda özellikle kullanışlıdır. Dendrogram sayesinde yalnızca tek bir küme çözümüne bağlı kalmadan iki, üç veya daha fazla kümeli sonuçları karşılaştırabilirsiniz. Küçük ve orta boyutlu veri kümelerinde yorumlanması da genellikle kolaydır.
Buna karşılık gözlem sayısı çok büyüdüğünde uzaklık hesapları ve dendrogramın yorumlanması zorlaşabilir. Yöntem, aykırı değerlere, ölçek farklarına ve seçilen uzaklık ölçüsüne duyarlıdır. Ayrıca hiyerarşik kümeleme, kümelerin dış dünyada gerçekten var olduğunu veya bulunan grupların nedensel olarak farklılaştığını göstermez. Yalnızca verilen değişkenler üzerinden bir benzerlik düzeni sunar.
Kümeleme sonucundan sonra ne yapılmalı?
Önce verileri temizleyip özelliklerin ölçeklerini inceleyin. Ardından uygun uzaklık ve birleştirme yöntemleriyle dendrogramı oluşturun. Olası kesim noktalarında oluşan kümeleri karşılaştırın; her kümenin gözlem sayısını, değişken ortalamalarını ve aykırı gözlemlerini inceleyin. Kümelerden biri yalnızca tek bir aykırı gözlemden oluşuyorsa bunu doğrudan anlamlı bir grup kabul etmeyin.
Son olarak kümeleri, asıl kullanım amacınız açısından yorumlayın. Pazarlama amacıyla yapılan müşteri kümelerinde her grubun davranışsal olarak ayırt edilebilir olması beklenir; ancak bu gruplara uygulanacak işlem, yalnızca kümeleme sonucuna değil, iş kurallarına ve veri kalitesine göre belirlenmelidir. Yeni veriler geldiğinde aynı ön işleme ve uzaklık yaklaşımını korumadan sonuçları doğrudan karşılaştırmak yanıltıcı olabilir.
Son düzenleme:
