Garfield
YZF Admin
Yapay zekâ veri seti, bir yapay zekâ modelini eğitmek, doğrulamak veya sınamak için düzenlenmiş örnekler topluluğudur. İyi bir veri seti; amaca uygun, yeterince çeşitli, doğru etiketlenmiş, kişisel ve telif açısından kullanılabilir, ayrıca eğitim ve test bölümleri birbirine karışmayacak şekilde hazırlanmış olmalıdır. Kendi veri setinizi oluşturacaksanız önce modelin neyi tahmin edeceğini belirleyin, uygun verileri toplayıp temizleyin, etiketleyin, eğitim-doğrulama-test olarak ayırın ve model sonuçlarını veri setinin temsil ettiği gerçek durumlarla karşılaştırın.
Veri seti; metin, görsel, ses, video, tablo veya sensör kaydı gibi girdilerden oluşur. Bazı veri setlerinde her girdinin beklenen cevabı da bulunur. Örneğin bir görselin yanında “kedi” etiketi varsa bu, görüntü sınıflandırma modeli için etiketli bir örnektir. Etiketsiz veri setinde ise yalnızca girdiler bulunur; model veriler arasındaki yapıyı kendisi keşfetmeye çalışır.
Bir veri setinin modeli doğrudan “zeki” hâle getirdiği düşünülmemelidir. Modelin başarısı; verinin kalitesine, görev tanımına, kullanılan algoritmaya, değerlendirme yöntemine ve gerçek kullanım koşullarına birlikte bağlıdır. Büyük bir veri seti, hatalı veya tek taraflıysa küçük ama temiz bir veri setinden daha yararlı olmayabilir.
Aşağıdaki ayrım, hangi veri yapısının kullanılacağını belirlemenize yardımcı olur.
Tablodaki türler birbirinin tamamen alternatifi değildir. Örneğin bir üretim sistemi önce etiketli verilerle eğitilebilir, ardından gerçek kullanım sırasında toplanan yeni ve etiketsiz verilerle hataları incelenebilir.
Temsil gücü: Veriler, modelin kullanılacağı gerçek kullanıcıları, cihazları, dilleri ve koşulları yansıtmalıdır. Yalnızca tek bir şehirden, yaş grubundan veya ışık koşulundan toplanan veriler daha geniş bir kullanım alanını temsil etmeyebilir.
Doğruluk ve tutarlılık: Aynı tür örnekler aynı kurala göre etiketlenmelidir. Belirsiz örnekler zorla tek bir sınıfa sokulursa modelin öğrenmesi de değerlendirmesi de yanıltılır.
Veri sızıntısının önlenmesi: Testte kullanılan örneklerin veya aynı kaynaktan türetilmiş neredeyse aynı örneklerin eğitim bölümüne girmemesi gerekir. Aksi hâlde model yeni veride başarılı olmadan test verisini ezberlemiş gibi görünebilir.
Kullanım hakkı ve gizlilik: Verinin nereden geldiği, hangi amaçla kullanılabileceği ve kişisel bilgilerin nasıl korunduğu kayıt altına alınmalıdır. İsim, telefon, adres, yüz görüntüsü veya özel yazışma gibi bilgiler gerekmiyorsa veri setine eklenmemelidir.
Küçük bir sınıflandırma projesi için aşağıdaki sıra uygulanabilir. Örnek olarak müşteri mesajlarını “ürün sorusu”, “şikâyet” ve “diğer” sınıflarına ayıran varsayımsal bir sistem düşünülmüştür.
Modelin toplam doğruluk oranı yüksek olsa bile bu, her sınıfta eşit derecede başarılı olduğu anlamına gelmez. Özellikle bir sınıf diğerlerinden çok daha fazlaysa model çoğunluk sınıfını tahmin ederek yüksek görünen bir oran elde edebilir. Bu nedenle sınıf bazında doğru ve yanlış tahminleri, yanlış pozitifleri ve yanlış negatifleri ayrıca incelemek gerekir.
Test sonucu yalnızca veri setinin temsil ettiği koşullar hakkında kanıt sağlar. Gerçek kullanımda farklı dil, kamera, gürültü, kullanıcı grubu veya zaman aralığı varsa test başarısı aynı kalmayabilir. Sonuç zayıfsa önce hatalı etiketleri, eksik sınıfları, eğitim-test sızıntısını ve gerçek kullanım verilerindeki farkları kontrol edin; sorun veri kaynaklıysa modeli değiştirmeden önce veri setini düzeltin.
Bir veri setini paylaşmadan önce kişisel bilgileri, gizli kayıtları ve kullanım izni belirsiz içerikleri ayıklayın. Dosyanın yanında veri alanlarını açıklayan kısa bir dokümantasyon, etiket kuralları, toplama koşulları, bilinen eksikler ve hangi amaçlarla kullanılmaması gerektiği de bulunmalıdır.
Yapay zekâ veri seti nedir?
Veri seti; metin, görsel, ses, video, tablo veya sensör kaydı gibi girdilerden oluşur. Bazı veri setlerinde her girdinin beklenen cevabı da bulunur. Örneğin bir görselin yanında “kedi” etiketi varsa bu, görüntü sınıflandırma modeli için etiketli bir örnektir. Etiketsiz veri setinde ise yalnızca girdiler bulunur; model veriler arasındaki yapıyı kendisi keşfetmeye çalışır.
Bir veri setinin modeli doğrudan “zeki” hâle getirdiği düşünülmemelidir. Modelin başarısı; verinin kalitesine, görev tanımına, kullanılan algoritmaya, değerlendirme yöntemine ve gerçek kullanım koşullarına birlikte bağlıdır. Büyük bir veri seti, hatalı veya tek taraflıysa küçük ama temiz bir veri setinden daha yararlı olmayabilir.
Veri seti türleri ve kullanım alanları
Aşağıdaki ayrım, hangi veri yapısının kullanılacağını belirlemenize yardımcı olur.
| Veri seti türü | Örnek | Yaygın kullanım |
|---|---|---|
| Etiketli veri | E-posta ve “istenmeyen” etiketi | Sınıflandırma ve tahmin |
| Etiketsiz veri | Etiketi olmayan müşteri yorumları | Gruplama ve örüntü keşfi |
| Eşleştirilmiş veri | Soru ve beklenen yanıt | Metin üretimi ve dil modeli eğitimi |
| Görüntü veri seti | Fotoğraf ve nesne sınırları | Görüntü tanıma ve nesne tespiti |
| Zaman serisi | Saatlik enerji tüketimi | Talep ve değer tahmini |
İyi bir veri setinde nelere bakılır?
Temsil gücü: Veriler, modelin kullanılacağı gerçek kullanıcıları, cihazları, dilleri ve koşulları yansıtmalıdır. Yalnızca tek bir şehirden, yaş grubundan veya ışık koşulundan toplanan veriler daha geniş bir kullanım alanını temsil etmeyebilir.
Doğruluk ve tutarlılık: Aynı tür örnekler aynı kurala göre etiketlenmelidir. Belirsiz örnekler zorla tek bir sınıfa sokulursa modelin öğrenmesi de değerlendirmesi de yanıltılır.
Veri sızıntısının önlenmesi: Testte kullanılan örneklerin veya aynı kaynaktan türetilmiş neredeyse aynı örneklerin eğitim bölümüne girmemesi gerekir. Aksi hâlde model yeni veride başarılı olmadan test verisini ezberlemiş gibi görünebilir.
Kullanım hakkı ve gizlilik: Verinin nereden geldiği, hangi amaçla kullanılabileceği ve kişisel bilgilerin nasıl korunduğu kayıt altına alınmalıdır. İsim, telefon, adres, yüz görüntüsü veya özel yazışma gibi bilgiler gerekmiyorsa veri setine eklenmemelidir.
Kendi veri setinizi hazırlama sırası
Küçük bir sınıflandırma projesi için aşağıdaki sıra uygulanabilir. Örnek olarak müşteri mesajlarını “ürün sorusu”, “şikâyet” ve “diğer” sınıflarına ayıran varsayımsal bir sistem düşünülmüştür.
- Modelin görevini ve sınıfları yazılı olarak belirleyin. Her mesajın hangi koşulda hangi sınıfa gireceğini kısa kurallarla tanımlayın. “Şikâyet” sınıfı örneğin teslimat gecikmesi veya kusurlu ürün bildirimlerini kapsıyorsa bunu etiketleme kurallarına açıkça yazın.
- Veri kaynaklarını ve kullanım sınırlarını kaydedin. Mesajların kaynağını, toplama tarihini, izin durumunu ve kişisel bilgilerin silinip silinmediğini not edin. Gereksiz kimlik bilgilerini veri dosyasına almadan önce maskeleyin veya çıkarın.
- Verileri temizleyin. Boş, yinelenen, bozuk veya görevle ilgisiz kayıtları ayırın. Aynı mesajın küçük değişikliklerle birden fazla kez bulunması, modelin gerçek çeşitliliği olduğundan fazla görmesine yol açabilir.
- Etiketleme kılavuzu oluşturun. Sınırda kalan örnekler için karar kuralları ve örnekler ekleyin. Birden fazla kişi etiketleme yapıyorsa önce aynı örnekleri bağımsız biçimde etiketletip kuralları anlaşmazlıklara göre düzeltin.
- Veriyi eğitim, doğrulama ve test bölümlerine ayırın. Eğitim bölümü modelin öğrenmesi, doğrulama bölümü ayarların seçilmesi, test bölümü ise en son tarafsız değerlendirme için kullanılır. Aynı konuşmanın farklı mesajlarını farklı bölümlere dağıtmak yerine konuşma veya kullanıcı gibi ortak kaynağa göre ayırmak daha güvenlidir.
- Sınıf dağılımını ve örnek çeşitliliğini inceleyin. Bir sınıfta çok az örnek varsa başarı oranını tek başına yorumlamayın. Az görülen sınıflar için ek veri toplamak, sınıfları birleştirmek veya değerlendirmede her sınıfı ayrı raporlamak gerekebilir.
- Veri setini sürümleyin ve modelle birlikte değerlendirin. Hangi kayıtların eklendiğini, silindiğini ve etiket kurallarının ne zaman değiştiğini saklayın. Model testte iyi sonuç verse bile gerçek kullanımda yanlış sınıflandırılan örnekleri inceleyin; bunlar yeni bir veri seti sürümü hazırlamak için kullanılabilir.
Sonuçları nasıl yorumlamalısınız?
Modelin toplam doğruluk oranı yüksek olsa bile bu, her sınıfta eşit derecede başarılı olduğu anlamına gelmez. Özellikle bir sınıf diğerlerinden çok daha fazlaysa model çoğunluk sınıfını tahmin ederek yüksek görünen bir oran elde edebilir. Bu nedenle sınıf bazında doğru ve yanlış tahminleri, yanlış pozitifleri ve yanlış negatifleri ayrıca incelemek gerekir.
Test sonucu yalnızca veri setinin temsil ettiği koşullar hakkında kanıt sağlar. Gerçek kullanımda farklı dil, kamera, gürültü, kullanıcı grubu veya zaman aralığı varsa test başarısı aynı kalmayabilir. Sonuç zayıfsa önce hatalı etiketleri, eksik sınıfları, eğitim-test sızıntısını ve gerçek kullanım verilerindeki farkları kontrol edin; sorun veri kaynaklıysa modeli değiştirmeden önce veri setini düzeltin.
Bir veri setini paylaşmadan önce kişisel bilgileri, gizli kayıtları ve kullanım izni belirsiz içerikleri ayıklayın. Dosyanın yanında veri alanlarını açıklayan kısa bir dokümantasyon, etiket kuralları, toplama koşulları, bilinen eksikler ve hangi amaçlarla kullanılmaması gerektiği de bulunmalıdır.
