Veri bilimi; veriden anlamlı bilgi, tahmin ve karar desteği üretmek için istatistik, programlama, veri analizi ve makine öğrenmesini birlikte kullanan çalışma alanıdır. Tipik bir çalışmada soru belirlenir, uygun veriler toplanıp temizlenir, veriler incelenir, gerekirse bir model oluşturulur ve sonuçların gerçek probleme ne ölçüde yardımcı olduğu doğrulanır. Örneğin bir çevrim içi mağaza, geçmiş siparişleri kullanarak hangi müşterilerin yeniden alışveriş yapma olasılığının yüksek olduğunu tahmin edebilir; ancak bu tahmin kesin sonuç değil, veriye dayalı bir olasılık ve karar desteğidir.
Veri bilimi tek bir araçtan veya yalnızca yapay zekâdan ibaret değildir. Problemin doğru kurulması, verinin güvenilir olması ve elde edilen sonucun doğru yorumlanması en az kullanılan algoritma kadar önemlidir.
Problem tanımı: “Satışlar neden düştü?” gibi geniş bir soru, “Önümüzdeki ay hangi ürün kategorilerinde satış düşüşü bekleniyor?” biçiminde ölçülebilir bir soruya dönüştürülür.
Veri toplama ve hazırlama: Veritabanı, dosya, uygulama kayıtları veya sensörlerden alınan veriler bir araya getirilir. Eksik, yinelenen, hatalı biçimlenmiş ya da soruyla ilgisiz kayıtlar incelenir. Veri hazırlanırken kişisel ve hassas bilgilerin gereksiz yere kullanılmaması gerekir.
Keşifsel veri analizi: Dağılımlar, ortalamalar, aykırı değerler ve değişkenler arasındaki ilişkiler incelenir. Bu aşama, verideki eğilimleri görmeyi ve yanlış varsayımları fark etmeyi sağlar.
Modelleme: Geçmiş veriden sınıflandırma, tahmin, gruplama veya benzeri bir çıktı üretmek gerekiyorsa istatistiksel ya da makine öğrenmesi yöntemleri kullanılabilir. Her problemde model kurmak zorunlu değildir; basit bir özet veya grafik, karmaşık bir modelden daha yararlı olabilir.
Değerlendirme ve uygulama: Model veya analiz, daha önce kullanılmamış verilerle sınanır. Başarılı görünen bir sonuç iş hedefiyle, hata maliyetiyle ve kullanım koşullarıyla birlikte değerlendirilir. Üretime alınan çözüm zaman içinde izlenir; çünkü veri yapısı ve kullanıcı davranışları değişebilir.
Bu terimler birbirine yakın olsa da aynı şeyi ifade etmez. Veri analizi çoğunlukla mevcut veriyi açıklamaya ve geçmişte ne olduğunu anlamaya odaklanır. Makine öğrenmesi, veriden örüntü öğrenerek yeni kayıtlar için tahmin veya sınıflandırma üretmeye yarayan yöntemler bütünüdür. Veri bilimi ise problem tanımından veri hazırlamaya, analizden modellemeye ve sonucun kullanılmasına kadar daha geniş süreci kapsar.
Bu ayrım kesin sınırlar oluşturmaz. Bir veri bilimcisi analiz yapabilir, makine öğrenmesi modeli kurabilir veya yalnızca güvenilir bir veri hattı hazırlayabilir. Hangi çalışmanın yapılacağı, problemin gerektirdiği sonuca bağlıdır.
Varsayımsal olarak bir mağazada her müşteriye ait alışveriş sayısı, son alışveriş tarihi ve toplam harcama tutarı bulunsun. Amaç, önümüzdeki 30 gün içinde yeniden alışveriş yapması beklenen müşterileri belirlemek olsun.
Önce hedef değişken tanımlanır: Müşteri sonraki 30 gün içinde alışveriş yaptıysa
Örneğin bir kayıt için çıktı
Modelin yararlı olup olmadığı yalnızca doğruluk oranıyla belirlenmez. Yanlış pozitif sonuçların maliyeti, yanlış negatif sonuçların maliyeti, veri sızıntısı, farklı müşteri gruplarındaki performans ve modelin zaman içinde bozulup bozulmadığı da incelenir. Eğitim verisindeki yüksek başarı, gerçek kullanımda aynı başarının kesin kanıtı değildir.
Çalışmanın niteliğine göre elektronik tablo araçları, SQL, Python veya R gibi programlama dilleri, veri tabanları, görselleştirme araçları ve makine öğrenmesi kütüphaneleri kullanılabilir. Araç seçimi problemin boyutuna ve ekibin çalışma biçimine göre yapılır. Küçük bir veri kümesi için anlaşılır bir tablo ve grafik yeterliyken, sürekli güncellenen büyük veri kümeleri için otomatik veri işleme ve izleme altyapısı gerekebilir.
Başlangıçta öğrenme sırası genellikle veri türlerini ve temel istatistiği anlamak, tablo ve SQL ile veri sorgulamak, bir programlama diliyle veri temizlemek ve görselleştirmek, ardından modelleme yöntemlerini değerlendirmek şeklinde kurulabilir. Kod yazmak önemli olsa da veri biliminin tamamı koddan oluşmaz; doğru soruyu sormak, ölçümü doğru seçmek ve sonucu sınamak da sürecin temel parçalarıdır.
Veri bilimi geleceği kesin olarak bilmez ve kötü ya da eksik veriyi kendiliğinden düzeltmez. Geçmişteki önyargıları taşıyan bir veri kümesi, teknik olarak başarılı görünen fakat adil olmayan sonuçlar üretebilir. Bir modelin tahmin üretmesi, bu tahmine dayanarak otomatik karar verilmesini tek başına haklı çıkarmaz.
Bu nedenle bir veri bilimi çalışmasında kullanılan verinin kaynağı, kapsamı, güncelliği, eksik kayıtları, hedef tanımı ve hata maliyetleri açıkça belgelenmelidir. Sonuç doğrudan insanları etkiliyorsa açıklanabilirlik, güvenlik, kişisel verilerin korunması ve insan denetimi ayrıca ele alınmalıdır. En güvenilir sonuç; iyi tanımlanmış problem, uygun veri, doğru değerlendirme ve gerçek kullanım sonrasında yapılan izleme birlikte sağlandığında elde edilir.
Veri bilimi hangi parçalardan oluşur?
Veri bilimi tek bir araçtan veya yalnızca yapay zekâdan ibaret değildir. Problemin doğru kurulması, verinin güvenilir olması ve elde edilen sonucun doğru yorumlanması en az kullanılan algoritma kadar önemlidir.
Problem tanımı: “Satışlar neden düştü?” gibi geniş bir soru, “Önümüzdeki ay hangi ürün kategorilerinde satış düşüşü bekleniyor?” biçiminde ölçülebilir bir soruya dönüştürülür.
Veri toplama ve hazırlama: Veritabanı, dosya, uygulama kayıtları veya sensörlerden alınan veriler bir araya getirilir. Eksik, yinelenen, hatalı biçimlenmiş ya da soruyla ilgisiz kayıtlar incelenir. Veri hazırlanırken kişisel ve hassas bilgilerin gereksiz yere kullanılmaması gerekir.
Keşifsel veri analizi: Dağılımlar, ortalamalar, aykırı değerler ve değişkenler arasındaki ilişkiler incelenir. Bu aşama, verideki eğilimleri görmeyi ve yanlış varsayımları fark etmeyi sağlar.
Modelleme: Geçmiş veriden sınıflandırma, tahmin, gruplama veya benzeri bir çıktı üretmek gerekiyorsa istatistiksel ya da makine öğrenmesi yöntemleri kullanılabilir. Her problemde model kurmak zorunlu değildir; basit bir özet veya grafik, karmaşık bir modelden daha yararlı olabilir.
Değerlendirme ve uygulama: Model veya analiz, daha önce kullanılmamış verilerle sınanır. Başarılı görünen bir sonuç iş hedefiyle, hata maliyetiyle ve kullanım koşullarıyla birlikte değerlendirilir. Üretime alınan çözüm zaman içinde izlenir; çünkü veri yapısı ve kullanıcı davranışları değişebilir.
Veri bilimi, veri analizi ve makine öğrenmesi arasındaki fark
Bu terimler birbirine yakın olsa da aynı şeyi ifade etmez. Veri analizi çoğunlukla mevcut veriyi açıklamaya ve geçmişte ne olduğunu anlamaya odaklanır. Makine öğrenmesi, veriden örüntü öğrenerek yeni kayıtlar için tahmin veya sınıflandırma üretmeye yarayan yöntemler bütünüdür. Veri bilimi ise problem tanımından veri hazırlamaya, analizden modellemeye ve sonucun kullanılmasına kadar daha geniş süreci kapsar.
| Alan | Temel soru | Tipik çıktı |
|---|---|---|
| Veri analizi | Ne oldu, neden olmuş olabilir? | Rapor, grafik, ölçüm ve açıklama |
| Makine öğrenmesi | Yeni bir kayıt için ne bekleniyor? | Tahmin, sınıf veya öneri |
| Veri bilimi | Veriyle bu problemi nasıl güvenilir biçimde çözebiliriz? | Analiz, model, karar desteği ve izleme süreci |
Küçük bir örnekle işleyiş
Varsayımsal olarak bir mağazada her müşteriye ait alışveriş sayısı, son alışveriş tarihi ve toplam harcama tutarı bulunsun. Amaç, önümüzdeki 30 gün içinde yeniden alışveriş yapması beklenen müşterileri belirlemek olsun.
Önce hedef değişken tanımlanır: Müşteri sonraki 30 gün içinde alışveriş yaptıysa
1, yapmadıysa 0. Geçmiş müşterilerden oluşan veri kümesinin bir bölümü eğitim, daha önce modele gösterilmeyen başka bir bölümü değerlendirme için ayrılır. Model; son alışveriş tarihi, alışveriş sıklığı ve harcama tutarı gibi girdilerden her müşteri için bir olasılık üretebilir.Örneğin bir kayıt için çıktı
0,82 ise bu, modelin o müşterinin belirtilen koşullarda yeniden alışveriş yapma olasılığını yaklaşık yüzde 82 olarak değerlendirdiği anlamına gelir. Bu değer müşterinin kesinlikle alışveriş yapacağını kanıtlamaz. Kampanya, fiyat değişikliği, stok durumu veya modelde bulunmayan başka etkenler sonucu değiştirebilir. İşletme bu olasılığı doğrudan karar yerine, hangi müşterilere teklif gönderileceğini belirlerken kullanılan bir ölçüt olarak değerlendirmelidir.Modelin yararlı olup olmadığı yalnızca doğruluk oranıyla belirlenmez. Yanlış pozitif sonuçların maliyeti, yanlış negatif sonuçların maliyeti, veri sızıntısı, farklı müşteri gruplarındaki performans ve modelin zaman içinde bozulup bozulmadığı da incelenir. Eğitim verisindeki yüksek başarı, gerçek kullanımda aynı başarının kesin kanıtı değildir.
Veri biliminde kullanılan temel araçlar
Çalışmanın niteliğine göre elektronik tablo araçları, SQL, Python veya R gibi programlama dilleri, veri tabanları, görselleştirme araçları ve makine öğrenmesi kütüphaneleri kullanılabilir. Araç seçimi problemin boyutuna ve ekibin çalışma biçimine göre yapılır. Küçük bir veri kümesi için anlaşılır bir tablo ve grafik yeterliyken, sürekli güncellenen büyük veri kümeleri için otomatik veri işleme ve izleme altyapısı gerekebilir.
Başlangıçta öğrenme sırası genellikle veri türlerini ve temel istatistiği anlamak, tablo ve SQL ile veri sorgulamak, bir programlama diliyle veri temizlemek ve görselleştirmek, ardından modelleme yöntemlerini değerlendirmek şeklinde kurulabilir. Kod yazmak önemli olsa da veri biliminin tamamı koddan oluşmaz; doğru soruyu sormak, ölçümü doğru seçmek ve sonucu sınamak da sürecin temel parçalarıdır.
Veri bilimi neyi garanti etmez?
Veri bilimi geleceği kesin olarak bilmez ve kötü ya da eksik veriyi kendiliğinden düzeltmez. Geçmişteki önyargıları taşıyan bir veri kümesi, teknik olarak başarılı görünen fakat adil olmayan sonuçlar üretebilir. Bir modelin tahmin üretmesi, bu tahmine dayanarak otomatik karar verilmesini tek başına haklı çıkarmaz.
Bu nedenle bir veri bilimi çalışmasında kullanılan verinin kaynağı, kapsamı, güncelliği, eksik kayıtları, hedef tanımı ve hata maliyetleri açıkça belgelenmelidir. Sonuç doğrudan insanları etkiliyorsa açıklanabilirlik, güvenlik, kişisel verilerin korunması ve insan denetimi ayrıca ele alınmalıdır. En güvenilir sonuç; iyi tanımlanmış problem, uygun veri, doğru değerlendirme ve gerçek kullanım sonrasında yapılan izleme birlikte sağlandığında elde edilir.
