Garfield
YZF Admin
Adil makine öğrenmesi, bir modelin farklı insan gruplarına sistematik olarak haksız dezavantaj vermesini azaltmayı amaçlayan yöntemler bütünüdür. Bunun için yalnızca genel doğruluk ölçülmez; gruplara göre hata oranları, yanlış retler, yanlış kabuller ve veri temsili ayrı ayrı incelenir. Ulaşılabilecek sonuç, her durumda kusursuz biçimde tarafsız bir model değil; hangi adalet ölçütünün seçildiği, hangi ödünleşimlerin bulunduğu ve modelin hangi koşullarda güvenilir olduğu açıkça bilinen bir sistemdir.
Bir makine öğrenmesi modeli eğitim verilerindeki kalıpları öğrenir. Veriler geçmişteki eşitsizlikleri, eksik temsili veya hatalı ölçümleri içeriyorsa model bunları yeni kararlara taşıyabilir. Örneğin işe alım için kullanılan bir model, geçmişte belirli bir grubun daha az işe alınmış olmasını “başarı göstergesi” sanarak o gruptaki adayları sistematik biçimde daha düşük puanlayabilir.
Adil makine öğrenmesi bu riski üç aşamada ele alır: verinin grupları ne kadar doğru temsil ettiğini kontrol etmek, model sonuçlarını gruplara göre karşılaştırmak ve gerekirse veri, model veya karar eşiği üzerinde düzeltme yapmaktır. Buradaki grup; cinsiyet, yaş, engellilik durumu veya başka bir korunan özellik olabilir. Ancak hangi özelliklerin kullanılacağı ve hangi sonuçların hukuken ya da etik açıdan hassas sayılacağı ülkeye ve uygulama alanına göre değişir.
Varsayımsal olarak bir kredi başvurusunu değerlendiren model düşünün. Girdi olarak gelir, borç oranı ve önceki ödeme bilgileri veriliyor; çıktı ise “onay” veya “ret” kararı oluyor. Model genel olarak başvuruların yüzde 85’ini doğru sınıflandırsa bile bu tek başına yeterli değildir.
Örneğin gerçekten uygun başvuru sahipleri içinde A grubunun yüzde 10’u, B grubunun ise yüzde 25’i yanlış reddediliyorsa, B grubundaki uygun kişilerin yanlış ret oranı daha yüksektir. Burada payda bütün başvurular değil, her grubun gerçekten uygun başvurularıdır. Bu fark, modelin kesin olarak ayrımcılık yaptığı anlamına gelmez; grupların gerçek risk dağılımı, veri kalitesi ve kararın nasıl tanımlandığı da incelenmelidir. Fakat fark, ek denetim ve neden analizi gerektiren somut bir uyarıdır.
Modelin yalnızca sonuçları değil, karar öncesindeki hata türleri de karşılaştırılmalıdır. Gerçekten geri ödeyecek bir kişinin reddedilmesi “yanlış ret”, riskli bir başvurunun onaylanması ise “yanlış kabul” olarak incelenebilir. Hangi hatanın daha önemli olduğu kullanım amacına göre değişir.
Farklı adalet ölçütleri farklı sorulara yanıt verir. Bu nedenle bir model bir ölçüte göre daha adil görünürken başka bir ölçütte daha kötü sonuç verebilir. Aşağıdaki karşılaştırma, ölçüt seçerken hangi soruya baktığınızı netleştirir.
Bu tablo bir “en iyi ölçüt” listesi değildir. Örneğin güvenlik açısından yanlış kabul oranını azaltmak öncelikli olabilirken, bir eğitim bursunda uygun öğrencilerin yanlış reddedilmesini azaltmak daha önemli olabilir. Önce kararın kime, nasıl ve hangi zararla etki ettiğini belirlemek; ardından uygun ölçütü seçmek gerekir.
Veri temsili: Her grubun eğitim ve test verisinde yeterince temsil edilip edilmediğine bakılır. Küçük bir grubun az örnekle temsil edilmesi, o grup için ölçümlerin belirsiz ve hatalı olmasına yol açabilir.
Etiketlerin güvenilirliği: Modelin öğrendiği “başarı”, “risk” veya “uygunluk” etiketi gerçekten ölçülmek istenen şeyi gösteriyor mu? Geçmişteki insan kararları doğrudan doğru kabul edilirse model eski önyargıları yeniden üretebilir.
Grup bazlı sonuçlar: Genel doğruluğun yanında her grup için doğruluk, yanlış ret, yanlış kabul ve mümkünse belirsizlik aralıkları hesaplanmalıdır. Yalnız ortalama başarıya bakmak, belirli gruplardaki zararı gizleyebilir.
Özelliklerin etkisi: Korunan bir özellik modelden çıkarılsa bile onunla güçlü biçimde ilişkili başka özellikler aynı bilgiyi dolaylı olarak taşıyabilir. Adresi, okul türünü veya çalışma geçmişini otomatik olarak tarafsız kabul etmek bu yüzden doğru değildir.
İnsan denetimi ve itiraz: Modelin yüksek etkili kararları tek başına vermesi yerine, kararın incelenebileceği ve hatalı sonuçların düzeltilebileceği bir süreç tasarlanmalıdır. İnsan denetimi yalnızca biçimsel onaydan ibaret olmamalı; inceleyen kişi modelin gerekçelerini ve sınırlılıklarını anlayabilmelidir.
Gruplar arasında benzer hata oranı bulunması, modelin toplumdaki tüm eşitsizlikleri ortadan kaldırdığını kanıtlamaz. Ölçülmemiş gruplar, kesişen kimlikler, zaman içinde değişen koşullar ve veri toplama biçimi sonucu etkileyebilir. Ayrıca bir modelin adil görünmesi, kullanılan verilerin hukuka uygun toplandığı veya kararın etik açıdan kabul edilebilir olduğu anlamına gelmez.
Tersine, gruplar arasında bir fark görülmesi de tek başına kasıtlı ayrımcılığı kanıtlamaz. Farkın kaynağı veri eksikliği, farklı temel oranlar, ölçüm hatası, süreçteki başka bir aşama veya modelin yanlış tasarımı olabilir. Yapılması gereken, farkı gizlemek ya da tek bir metriği zorla eşitlemek değil; karar zincirinin tamamını ve oluşan zararı incelemektir.
Pratik olarak adil makine öğrenmesi için önce kararın etkilediği grupları ve en ciddi hata türünü belirleyin. Sonra veriyi grup bazında denetleyin, seçtiğiniz adalet ölçütünü gerekçelendirin ve modelin genel sonuçlarıyla birlikte grup sonuçlarını raporlayın. Ölçütler çatışıyorsa bunu saklamak yerine hangi riski azaltmayı önceliklendirdiğinizi açıkça belirtin.
Adil makine öğrenmesi neyi inceler?
Bir makine öğrenmesi modeli eğitim verilerindeki kalıpları öğrenir. Veriler geçmişteki eşitsizlikleri, eksik temsili veya hatalı ölçümleri içeriyorsa model bunları yeni kararlara taşıyabilir. Örneğin işe alım için kullanılan bir model, geçmişte belirli bir grubun daha az işe alınmış olmasını “başarı göstergesi” sanarak o gruptaki adayları sistematik biçimde daha düşük puanlayabilir.
Adil makine öğrenmesi bu riski üç aşamada ele alır: verinin grupları ne kadar doğru temsil ettiğini kontrol etmek, model sonuçlarını gruplara göre karşılaştırmak ve gerekirse veri, model veya karar eşiği üzerinde düzeltme yapmaktır. Buradaki grup; cinsiyet, yaş, engellilik durumu veya başka bir korunan özellik olabilir. Ancak hangi özelliklerin kullanılacağı ve hangi sonuçların hukuken ya da etik açıdan hassas sayılacağı ülkeye ve uygulama alanına göre değişir.
Somut bir örnekle işleyişi
Varsayımsal olarak bir kredi başvurusunu değerlendiren model düşünün. Girdi olarak gelir, borç oranı ve önceki ödeme bilgileri veriliyor; çıktı ise “onay” veya “ret” kararı oluyor. Model genel olarak başvuruların yüzde 85’ini doğru sınıflandırsa bile bu tek başına yeterli değildir.
Örneğin gerçekten uygun başvuru sahipleri içinde A grubunun yüzde 10’u, B grubunun ise yüzde 25’i yanlış reddediliyorsa, B grubundaki uygun kişilerin yanlış ret oranı daha yüksektir. Burada payda bütün başvurular değil, her grubun gerçekten uygun başvurularıdır. Bu fark, modelin kesin olarak ayrımcılık yaptığı anlamına gelmez; grupların gerçek risk dağılımı, veri kalitesi ve kararın nasıl tanımlandığı da incelenmelidir. Fakat fark, ek denetim ve neden analizi gerektiren somut bir uyarıdır.
Modelin yalnızca sonuçları değil, karar öncesindeki hata türleri de karşılaştırılmalıdır. Gerçekten geri ödeyecek bir kişinin reddedilmesi “yanlış ret”, riskli bir başvurunun onaylanması ise “yanlış kabul” olarak incelenebilir. Hangi hatanın daha önemli olduğu kullanım amacına göre değişir.
Adalet ölçütleri neden tek bir sonuç vermez?
Farklı adalet ölçütleri farklı sorulara yanıt verir. Bu nedenle bir model bir ölçüte göre daha adil görünürken başka bir ölçütte daha kötü sonuç verebilir. Aşağıdaki karşılaştırma, ölçüt seçerken hangi soruya baktığınızı netleştirir.
| Ölçüt | Temel soru | Dikkat edilmesi gereken nokta |
|---|---|---|
| Seçim oranı eşitliği | Gruplarda olumlu karar oranları benzer mi? | Grupların gerçek ihtiyaç veya risk farklarını tek başına açıklamaz. |
| Yanlış ret oranı | Uygun kişileri gruplara göre benzer oranda mı reddediyor? | Kredi ve işe alım gibi alanlarda önemli olabilir. |
| Yanlış kabul oranı | Uygun olmayan kişileri gruplara göre benzer oranda mı kabul ediyor? | Güvenlik veya risk denetimi gereken alanlarda öne çıkabilir. |
| Grup bazlı kalibrasyon | Aynı tahmin puanı farklı gruplarda benzer anlam taşıyor mu? | Kalibrasyon, grup büyüklüğü ve veri kalitesi ayrıca kontrol edilmelidir. |
Adil bir model değerlendirilirken ne kontrol edilir?
Veri temsili: Her grubun eğitim ve test verisinde yeterince temsil edilip edilmediğine bakılır. Küçük bir grubun az örnekle temsil edilmesi, o grup için ölçümlerin belirsiz ve hatalı olmasına yol açabilir.
Etiketlerin güvenilirliği: Modelin öğrendiği “başarı”, “risk” veya “uygunluk” etiketi gerçekten ölçülmek istenen şeyi gösteriyor mu? Geçmişteki insan kararları doğrudan doğru kabul edilirse model eski önyargıları yeniden üretebilir.
Grup bazlı sonuçlar: Genel doğruluğun yanında her grup için doğruluk, yanlış ret, yanlış kabul ve mümkünse belirsizlik aralıkları hesaplanmalıdır. Yalnız ortalama başarıya bakmak, belirli gruplardaki zararı gizleyebilir.
Özelliklerin etkisi: Korunan bir özellik modelden çıkarılsa bile onunla güçlü biçimde ilişkili başka özellikler aynı bilgiyi dolaylı olarak taşıyabilir. Adresi, okul türünü veya çalışma geçmişini otomatik olarak tarafsız kabul etmek bu yüzden doğru değildir.
İnsan denetimi ve itiraz: Modelin yüksek etkili kararları tek başına vermesi yerine, kararın incelenebileceği ve hatalı sonuçların düzeltilebileceği bir süreç tasarlanmalıdır. İnsan denetimi yalnızca biçimsel onaydan ibaret olmamalı; inceleyen kişi modelin gerekçelerini ve sınırlılıklarını anlayabilmelidir.
Adil sonuç neyi kanıtlamaz?
Gruplar arasında benzer hata oranı bulunması, modelin toplumdaki tüm eşitsizlikleri ortadan kaldırdığını kanıtlamaz. Ölçülmemiş gruplar, kesişen kimlikler, zaman içinde değişen koşullar ve veri toplama biçimi sonucu etkileyebilir. Ayrıca bir modelin adil görünmesi, kullanılan verilerin hukuka uygun toplandığı veya kararın etik açıdan kabul edilebilir olduğu anlamına gelmez.
Tersine, gruplar arasında bir fark görülmesi de tek başına kasıtlı ayrımcılığı kanıtlamaz. Farkın kaynağı veri eksikliği, farklı temel oranlar, ölçüm hatası, süreçteki başka bir aşama veya modelin yanlış tasarımı olabilir. Yapılması gereken, farkı gizlemek ya da tek bir metriği zorla eşitlemek değil; karar zincirinin tamamını ve oluşan zararı incelemektir.
Pratik olarak adil makine öğrenmesi için önce kararın etkilediği grupları ve en ciddi hata türünü belirleyin. Sonra veriyi grup bazında denetleyin, seçtiğiniz adalet ölçütünü gerekçelendirin ve modelin genel sonuçlarıyla birlikte grup sonuçlarını raporlayın. Ölçütler çatışıyorsa bunu saklamak yerine hangi riski azaltmayı önceliklendirdiğinizi açıkça belirtin.
Son düzenleme:
