Garfield
YZF Admin
Agglomerative kümeleme, benzer gözlemleri önce ayrı kümeler kabul edip her adımda birbirine en yakın iki kümeyi birleştiren hiyerarşik bir kümeleme yöntemidir. Küme sayısını baştan kesin olarak vermek zorunda kalmadan verideki gruplaşmayı bir dendrogram üzerinde inceleyebilir, ardından istediğiniz seviyeden kümeleri seçebilirsiniz. Sonucun anlamlı olması için benzerlik ölçüsünü, uzaklık yöntemini ve küme birleştirme ölçütünü verinin türüne uygun seçmeniz gerekir.
Başlangıçta her veri noktası tek başına bir kümedir. Algoritma, kümeler arasındaki uzaklığı hesaplar ve en yakın iki kümeyi birleştirir. Bu işlem tek bir küme kalıncaya veya belirlediğiniz durma koşuluna ulaşıncaya kadar sürer. Birleştirmelerin sırası dendrogram adı verilen ağaç biçimli gösterimde izlenebilir.
Örneğin müşterileri harcama tutarı ve alışveriş sıklığına göre gruplamak istediğinizi varsayalım. Beş müşterinin her biri başlangıçta ayrı kümedir. Birbirine en yakın iki müşteri birleştirilir; sonra oluşan küme diğer müşterilerle karşılaştırılır. Yüksek birleştirme uzaklığında yapılan birleşmeler, gözlemleri zorunlu olarak doğal bir grup oldukları için değil, algoritma sonunda tek yapı kalması gerektiği için bir araya getirmiş olabilir.
Bu nedenle dendrogramda birleşme uzaklığının belirgin biçimde arttığı seviyenin öncesinden kesim yapmak genellikle daha açıklanabilir kümeler verir. Bu, otomatik olarak en doğru küme sayısını kanıtlamaz; seçimin alan bilgisi ve ayrıca değerlendirme ölçütleriyle kontrol edilmesi gerekir.
Agglomerative yöntemde yalnızca veri noktaları arasındaki uzaklık değil, iki küme arasındaki uzaklığın nasıl hesaplandığı da sonucu değiştirir. En sık kullanılan ölçütler şunlardır:
Bu yöntemler aynı veri üzerinde farklı dendrogramlar ve farklı küme üyelikleri üretebilir. Örneğin veriniz uzun zincirler oluşturuyorsa single linkage beklenmedik biçimde birçok noktayı aynı kümeye bağlayabilir. Kümelerin yaklaşık yuvarlak ve benzer yoğunlukta olmasını bekliyorsanız Ward yöntemi daha uygun bir başlangıç olabilir; ancak özellik ölçeklerine duyarlıdır. Ward için Öklid uzaklığı gerekir; scikit-learn’de metrik desteğini seçilen linkage yöntemiyle birlikte kontrol edin.
Sayısal değişkenlerin ölçekleri farklıysa önce standartlaştırma yapın. Aksi durumda büyük sayısal aralığa sahip bir değişken uzaklık hesabını baskılayabilir. Örneğin yaş 0-100 aralığındayken yıllık gelir binlerce veya milyonlarca birimdeyse, standartlaştırma yapılmadan gelir değişkeni kümeleri büyük ölçüde tek başına belirleyebilir.
Eksik değerleri, kategorik değişkenleri ve aykırı gözlemleri kullandığınız uzaklık yöntemine göre ele alın. Özellikle Öklid uzaklığı, doğrudan metin veya kategorik değerlerle kullanılamaz; bu tür değişkenler için uygun bir kodlama ve uzaklık ölçüsü gerekir. Uydurma sayısal kodlar kategoriler arasında gerçekte olmayan bir sıralama yaratabilir.
Çalışma akışı genel olarak şöyledir: veriyi hazırlayın, değişkenleri uygun ölçekte birleştirin, uzaklık ve linkage yöntemini seçin, dendrogramı inceleyin, bir kesim yüksekliği veya küme sayısı belirleyin ve kümeleri alan bilgisiyle yorumlayın. Bir Python kütüphanesinde kullanılan işlev adları sürüme göre değişebileceğinden, kodu çalıştıracağınız kütüphanenin güncel belgelerindeki parametre adlarını doğrulamanız gerekir.
Bir gözlemin aynı kümeye atanması, o gözlemlerin seçtiğiniz değişkenler ve uzaklık ölçüsüne göre birbirine daha yakın olduğunu gösterir. Bu sonuç, gözlemlerin gerçek hayatta aynı nedene sahip olduğunu, aralarında nedensel ilişki bulunduğunu veya oluşturulan kümelerin kesin ve değişmez sınıflar olduğunu kanıtlamaz.
Küme sayısını yalnızca görsel olarak seçmek yerine farklı kesimlerde küme büyüklüklerini, küme içi benzerliği ve alan açısından yorumlanabilirliği karşılaştırın. Çok küçük tekil kümeler aykırı gözlemlere işaret edebilir; aşırı büyük tek bir küme ise seçilen uzaklık veya linkage yönteminin verideki yapıyı yeterince ayıramadığını gösterebilir.
Sonuç beklenenden farklıysa önce değişken ölçeklerini, eksik değerleri, aykırı gözlemleri ve uzaklık ölçüsünü kontrol edin. Ardından başka bir linkage yöntemiyle karşılaştırma yapın. Farklı yöntemler tamamen farklı gruplar üretiyorsa veri, seçilen özellikler veya kümeleme varsayımı doğal bir grup yapısını yeterince desteklemiyor olabilir.
Nasıl çalışır?
Başlangıçta her veri noktası tek başına bir kümedir. Algoritma, kümeler arasındaki uzaklığı hesaplar ve en yakın iki kümeyi birleştirir. Bu işlem tek bir küme kalıncaya veya belirlediğiniz durma koşuluna ulaşıncaya kadar sürer. Birleştirmelerin sırası dendrogram adı verilen ağaç biçimli gösterimde izlenebilir.
Örneğin müşterileri harcama tutarı ve alışveriş sıklığına göre gruplamak istediğinizi varsayalım. Beş müşterinin her biri başlangıçta ayrı kümedir. Birbirine en yakın iki müşteri birleştirilir; sonra oluşan küme diğer müşterilerle karşılaştırılır. Yüksek birleştirme uzaklığında yapılan birleşmeler, gözlemleri zorunlu olarak doğal bir grup oldukları için değil, algoritma sonunda tek yapı kalması gerektiği için bir araya getirmiş olabilir.
Bu nedenle dendrogramda birleşme uzaklığının belirgin biçimde arttığı seviyenin öncesinden kesim yapmak genellikle daha açıklanabilir kümeler verir. Bu, otomatik olarak en doğru küme sayısını kanıtlamaz; seçimin alan bilgisi ve ayrıca değerlendirme ölçütleriyle kontrol edilmesi gerekir.
Küme uzaklığı nasıl belirlenir?
Agglomerative yöntemde yalnızca veri noktaları arasındaki uzaklık değil, iki küme arasındaki uzaklığın nasıl hesaplandığı da sonucu değiştirir. En sık kullanılan ölçütler şunlardır:
| Yöntem | Kümeler arası uzaklık | Tipik etkisi |
|---|---|---|
| Single linkage | İki kümedeki en yakın noktalar | Uzun, zincir biçimli kümeler oluşturabilir; aykırı noktaların etkisine açıktır. |
| Complete linkage | İki kümedeki en uzak noktalar | Daha sıkı ve küçük çaplı kümeler üretme eğilimindedir. |
| Average linkage | Kümeler arasındaki ortalama uzaklık | Yakın ve dengeli bir genel çözüm sunabilir. |
| Ward yöntemi | Birleşme sonrasında küme içi varyanstaki artış | Yaklaşık küresel ve benzer büyüklükte kümeler için uygundur. |
Uygularken dikkat edilmesi gerekenler
Sayısal değişkenlerin ölçekleri farklıysa önce standartlaştırma yapın. Aksi durumda büyük sayısal aralığa sahip bir değişken uzaklık hesabını baskılayabilir. Örneğin yaş 0-100 aralığındayken yıllık gelir binlerce veya milyonlarca birimdeyse, standartlaştırma yapılmadan gelir değişkeni kümeleri büyük ölçüde tek başına belirleyebilir.
Eksik değerleri, kategorik değişkenleri ve aykırı gözlemleri kullandığınız uzaklık yöntemine göre ele alın. Özellikle Öklid uzaklığı, doğrudan metin veya kategorik değerlerle kullanılamaz; bu tür değişkenler için uygun bir kodlama ve uzaklık ölçüsü gerekir. Uydurma sayısal kodlar kategoriler arasında gerçekte olmayan bir sıralama yaratabilir.
Çalışma akışı genel olarak şöyledir: veriyi hazırlayın, değişkenleri uygun ölçekte birleştirin, uzaklık ve linkage yöntemini seçin, dendrogramı inceleyin, bir kesim yüksekliği veya küme sayısı belirleyin ve kümeleri alan bilgisiyle yorumlayın. Bir Python kütüphanesinde kullanılan işlev adları sürüme göre değişebileceğinden, kodu çalıştıracağınız kütüphanenin güncel belgelerindeki parametre adlarını doğrulamanız gerekir.
Sonuç nasıl yorumlanır?
Bir gözlemin aynı kümeye atanması, o gözlemlerin seçtiğiniz değişkenler ve uzaklık ölçüsüne göre birbirine daha yakın olduğunu gösterir. Bu sonuç, gözlemlerin gerçek hayatta aynı nedene sahip olduğunu, aralarında nedensel ilişki bulunduğunu veya oluşturulan kümelerin kesin ve değişmez sınıflar olduğunu kanıtlamaz.
Küme sayısını yalnızca görsel olarak seçmek yerine farklı kesimlerde küme büyüklüklerini, küme içi benzerliği ve alan açısından yorumlanabilirliği karşılaştırın. Çok küçük tekil kümeler aykırı gözlemlere işaret edebilir; aşırı büyük tek bir küme ise seçilen uzaklık veya linkage yönteminin verideki yapıyı yeterince ayıramadığını gösterebilir.
Sonuç beklenenden farklıysa önce değişken ölçeklerini, eksik değerleri, aykırı gözlemleri ve uzaklık ölçüsünü kontrol edin. Ardından başka bir linkage yöntemiyle karşılaştırma yapın. Farklı yöntemler tamamen farklı gruplar üretiyorsa veri, seçilen özellikler veya kümeleme varsayımı doğal bir grup yapısını yeterince desteklemiyor olabilir.
Son düzenleme:
