Garfield
YZF Admin
Anomali tespitinde eşik, normal verinin değişkenliğini ve yanlış alarm maliyetini birlikte dikkate alacak şekilde belirlenir. En güvenli başlangıç, anomali içermediği bilinen bir dönemden ortalama ve yayılım ölçüsü çıkarmak, ardından doğrulama verisi üzerinde farklı eşikleri karşılaştırmaktır. Böylece yalnızca sıra dışı görünen değerleri değil, üretimde gerçekten işe yarayan alarm sınırını seçebilirsiniz.
Eşik belirlemeden önce verinin hangi koşullarda normal kabul edileceğini ayırın. Saatlik trafik, hafta içi ve hafta sonu; işlem süresi, farklı işlem türleri; sensör verisi ise çalışma modu ve ortam koşulları nedeniyle farklı dağılımlara sahip olabilir. Bu grupları tek bir eşikle birleştirmek, normal dönemsel değişimleri anomali gibi işaretleyebilir.
Ayrıca eğitim verisinde çok sayıda gerçek anomali varsa ortalama ve standart sapma bozulabilir. Mümkünse anomali içermeyen veya anomali etiketleri temizlenmiş bir dönem kullanın. Veri zaman serisiyse eşik hesabında gelecekteki değerleri kullanmayın; her zaman yalnızca o ana kadar bilinen verilerle hesap yapın.
Yöntem seçimi verinin dağılımına ve anomali maliyetine bağlıdır. Karşılaştırmayı kolaylaştıran temel seçenekler şunlardır:
Dağılım kararlıysa ortalama ve standart sapma pratik bir başlangıçtır. Bir gözlem için üst sınırı şu şekilde hesaplayabilirsiniz:
Alt sınır da izlenecekse:
Buradaki
Burada MAD, her değerin medyandan mutlak uzaklıklarının medyanıdır. Ham MAD ile normal dağılıma göre ölçeklenmiş MAD aynı değildir; k katsayısını kullanılan tanıma göre doğrulama verisiyle seçin. Medyan ve MAD aykırı değerlere dayanıklıdır, ancak belirgin çarpıklıkta simetrik sınırın uygunluğu ayrıca kontrol edilmelidir.
Bu formüller başlangıç sınırıdır; tek başına doğru eşik olduğunu kanıtlamaz. Eşiğin işe yarayıp yaramadığını etiketli geçmiş veride ölçmeniz gerekir.
Uygulanabilir bir ayar süreci için eğitim, doğrulama ve mümkünse son test dönemlerini birbirinden ayırın. Aynı veriyi hem eşik hesaplamak hem de başarıyı ölçmek için kullanmak, sonucu olduğundan iyi gösterebilir.
Varsayımsal olarak, normal kabul edilen işlemlerin ortalama süresi 200 milisaniye, standart sapması 30 milisaniye olsun. Başlangıç için
Bu durumda 290 milisaniyenin üzerindeki işlem süreleri aday anomali olarak işaretlenir. Ancak bu sonuç, her 290 milisaniyelik işlemin kesinlikle arızalı olduğunu göstermez. Ağ gecikmesi, yoğunluk veya yeni bir işlem türü de aynı alarmı üretebilir. Alarmları işlem türü ve saat aralığına göre ayırdığınızda bir grubun doğal olarak daha yavaş olduğu görülürse tüm sistem için tek eşik kullanmak yerine grup bazlı eşikler tanımlayın.
Veri zaman içinde düzenli biçimde artıyorsa sabit 290 milisaniye sınırı kısa sürede anlamsızlaşabilir. Bu durumda kayan pencere, mevsimsel karşılaştırma veya tahmin hatasına dayalı eşik daha uygun olabilir. Kayan pencere kullanırken pencerenin çok kısa seçilmesi gerçek anomaliyi normal kabul ettirebilir; çok uzun seçilmesi ise sistemdeki kalıcı değişime yavaş tepki verir.
Alarm sayısı çok yüksekse eşik fazla düşük olabilir; fakat sorun yalnızca eşikte değildir. Veri kaynağındaki tekrarlar, eksik değerlerin yanlış doldurulması, mevsimselliğin göz ardı edilmesi veya farklı grupların birleştirilmesi de aynı sonucu doğurabilir. Önce alarm zamanlarını ve hangi veri grubundan geldiklerini inceleyin.
Alarm sayısı çok düşükse eşik fazla yüksek olabilir veya ölçüm anomaliyi görünür kılmıyor olabilir. Doğrulanmış anomalilerin alarm öncesi değerlerini inceleyin; bu değerler sınırın altında kalıyorsa eşik yaklaşımını, özellikleri veya tahmin modelini değiştirmeniz gerekebilir.
Alarm oranı bir süre sonra yükseliyorsa sistem davranışı değişmiş olabilir. Bu durum otomatik olarak eşik değerini artırmanız gerektiğini kanıtlamaz. Önce değişimin gerçek bir operasyonel bozulma mı, kalıcı seviye değişimi mi, yoksa veri toplama hatası mı olduğunu ayırın. Kalıcı ve beklenen değişim doğrulanırsa yeni normal dönemle eşiği yeniden hesaplayın; beklenmeyen değişimse alarmı bastırmak yerine nedenini araştırın.
En iyi eşik, istatistiksel olarak en uzak değeri bulan değil, yanlış alarm ile kaçırılan anomali arasındaki dengeyi sisteminizin maliyetine göre kuran eştir. Eşik değerini belirlediğiniz veri dönemi, yöntem, parametre, alarm oranı ve doğrulama sonucuyla birlikte kaydederseniz daha sonra yapılan değişikliğin nedenini denetleyebilirsiniz.
Önce normal davranışı tanımlayın
Eşik belirlemeden önce verinin hangi koşullarda normal kabul edileceğini ayırın. Saatlik trafik, hafta içi ve hafta sonu; işlem süresi, farklı işlem türleri; sensör verisi ise çalışma modu ve ortam koşulları nedeniyle farklı dağılımlara sahip olabilir. Bu grupları tek bir eşikle birleştirmek, normal dönemsel değişimleri anomali gibi işaretleyebilir.
Ayrıca eğitim verisinde çok sayıda gerçek anomali varsa ortalama ve standart sapma bozulabilir. Mümkünse anomali içermeyen veya anomali etiketleri temizlenmiş bir dönem kullanın. Veri zaman serisiyse eşik hesabında gelecekteki değerleri kullanmayın; her zaman yalnızca o ana kadar bilinen verilerle hesap yapın.
Eşik belirleme yöntemini seçin
Yöntem seçimi verinin dağılımına ve anomali maliyetine bağlıdır. Karşılaştırmayı kolaylaştıran temel seçenekler şunlardır:
| Yöntem | Uygun olduğu durum | Temel ayar | Dikkat edilmesi gereken |
|---|---|---|---|
| Ortalama ± standart sapma | Dağılımı yaklaşık simetrik ve kararlı veriler | k katsayısı | Aykırı değerlerden etkilenir |
| Medyan ve MAD | Aykırı değer içeren veya çarpık veriler | MAD katsayısı | Dağılımın merkezden uzaklığını temsil eder |
| Yüzdelik dilim | Yalnızca en yüksek veya en düşük belirli oranı izlemek | Örneğin 99. yüzdelik dilim sınırı; bunun üzerindeki yaklaşık yüzde 1 | Anomali oranı zamanla değişebilir |
| Tahmin aralığı | Mevsimsellik veya zaman bağımlılığı bulunan seriler | Tahmin hatası sınırı | Model hatası da alarm üretebilir |
üst eşik = ortalama + k × standart sapmaAlt sınır da izlenecekse:
alt eşik = ortalama - k × standart sapmaBuradaki
k büyüdükçe alarm sayısı azalır; ancak küçük anormallikleri kaçırma ihtimali artar. Veride aykırı değerler veya belirgin çarpıklık varsa medyan ve MAD daha dayanıklı bir seçenek olabilir:üst eşik = medyan + k × MADBurada MAD, her değerin medyandan mutlak uzaklıklarının medyanıdır. Ham MAD ile normal dağılıma göre ölçeklenmiş MAD aynı değildir; k katsayısını kullanılan tanıma göre doğrulama verisiyle seçin. Medyan ve MAD aykırı değerlere dayanıklıdır, ancak belirgin çarpıklıkta simetrik sınırın uygunluğu ayrıca kontrol edilmelidir.
Bu formüller başlangıç sınırıdır; tek başına doğru eşik olduğunu kanıtlamaz. Eşiğin işe yarayıp yaramadığını etiketli geçmiş veride ölçmeniz gerekir.
Eşiği doğrulama verisiyle ayarlayın
Uygulanabilir bir ayar süreci için eğitim, doğrulama ve mümkünse son test dönemlerini birbirinden ayırın. Aynı veriyi hem eşik hesaplamak hem de başarıyı ölçmek için kullanmak, sonucu olduğundan iyi gösterebilir.
- Normal dönemi belirleyin. Eşik hesabında kullanılacak veri aralığını seçin ve bakım, kesinti veya bilinen saldırı gibi anormal dönemleri bu aralıktan çıkarın.
- Başlangıç eşiğini hesaplayın. Verinin yapısına göre ortalama-standart sapma, medyan-MAD veya yüzdelik dilim yöntemlerinden birini uygulayın.
- Aday eşikleri üretin. Örneğin
k = 2, 2,5, 3gibi birkaç sınır deneyin; tek bir değeri varsayılan olarak doğru kabul etmeyin. - Geçmiş alarmları etiketlerle karşılaştırın. Doğrulama kayıtlarında alarm kararını gerçek etiketle karşılaştırın: doğru alarmı, yanlış alarmı ve alarm üretilmemiş gerçek anomaliyi ayrı sayın. Etiket yoksa örnekleri insan incelemesiyle doğrulayın ve bu sınırlılığı kaydedin.
- Maliyete göre seçim yapın. Kaçırılan anomali ciddi sonuç doğuruyorsa daha duyarlı bir eşik; alarm incelemesi pahalıysa daha seçici bir eşik kullanın.
- Ayrı test döneminde kontrol edin. Seçtiğiniz eşiği daha önce ayar için kullanılmamış veride çalıştırın. Alarm oranı, yanlış alarm oranı ve kaçırılan anomali sayısı beklenenden belirgin biçimde değişiyorsa nedeni araştırın. Bu sonuçlara bakarak eşiği veya veri gruplarını değiştirirseniz kullanılan dönem artık ayar sürecine katılmış olur; son değerlendirme için yeni, ayrı bir test dönemi ayırın.
- Üretimde izlemeyi sürdürün. Eşiği sabit bırakmak yerine veri dağılımının, alarm oranının ve doğrulanan anomalilerin zaman içinde değişip değişmediğini izleyin. Değişiklik yaparsanız yeni eşik değerini, kullanılan veri dönemini ve gerekçeyi kaydedin.
Örnek: işlem süresinde eşik hesaplama
Varsayımsal olarak, normal kabul edilen işlemlerin ortalama süresi 200 milisaniye, standart sapması 30 milisaniye olsun. Başlangıç için
k = 3 seçilirse üst eşik şöyle hesaplanır:200 + 3 × 30 = 290 milisaniyeBu durumda 290 milisaniyenin üzerindeki işlem süreleri aday anomali olarak işaretlenir. Ancak bu sonuç, her 290 milisaniyelik işlemin kesinlikle arızalı olduğunu göstermez. Ağ gecikmesi, yoğunluk veya yeni bir işlem türü de aynı alarmı üretebilir. Alarmları işlem türü ve saat aralığına göre ayırdığınızda bir grubun doğal olarak daha yavaş olduğu görülürse tüm sistem için tek eşik kullanmak yerine grup bazlı eşikler tanımlayın.
Veri zaman içinde düzenli biçimde artıyorsa sabit 290 milisaniye sınırı kısa sürede anlamsızlaşabilir. Bu durumda kayan pencere, mevsimsel karşılaştırma veya tahmin hatasına dayalı eşik daha uygun olabilir. Kayan pencere kullanırken pencerenin çok kısa seçilmesi gerçek anomaliyi normal kabul ettirebilir; çok uzun seçilmesi ise sistemdeki kalıcı değişime yavaş tepki verir.
Sonucu nasıl yorumlamalısınız?
Alarm sayısı çok yüksekse eşik fazla düşük olabilir; fakat sorun yalnızca eşikte değildir. Veri kaynağındaki tekrarlar, eksik değerlerin yanlış doldurulması, mevsimselliğin göz ardı edilmesi veya farklı grupların birleştirilmesi de aynı sonucu doğurabilir. Önce alarm zamanlarını ve hangi veri grubundan geldiklerini inceleyin.
Alarm sayısı çok düşükse eşik fazla yüksek olabilir veya ölçüm anomaliyi görünür kılmıyor olabilir. Doğrulanmış anomalilerin alarm öncesi değerlerini inceleyin; bu değerler sınırın altında kalıyorsa eşik yaklaşımını, özellikleri veya tahmin modelini değiştirmeniz gerekebilir.
Alarm oranı bir süre sonra yükseliyorsa sistem davranışı değişmiş olabilir. Bu durum otomatik olarak eşik değerini artırmanız gerektiğini kanıtlamaz. Önce değişimin gerçek bir operasyonel bozulma mı, kalıcı seviye değişimi mi, yoksa veri toplama hatası mı olduğunu ayırın. Kalıcı ve beklenen değişim doğrulanırsa yeni normal dönemle eşiği yeniden hesaplayın; beklenmeyen değişimse alarmı bastırmak yerine nedenini araştırın.
En iyi eşik, istatistiksel olarak en uzak değeri bulan değil, yanlış alarm ile kaçırılan anomali arasındaki dengeyi sisteminizin maliyetine göre kuran eştir. Eşik değerini belirlediğiniz veri dönemi, yöntem, parametre, alarm oranı ve doğrulama sonucuyla birlikte kaydederseniz daha sonra yapılan değişikliğin nedenini denetleyebilirsiniz.
Son düzenleme:
