Doğrusal regresyon, bir veya daha fazla değişkeni kullanarak sayısal bir sonucu tahmin etmeye yarayan istatistiksel ve makine öğrenmesi yöntemidir. En basit durumda amaç, verilerdeki ilişkiyi bir doğruyla ifade etmektir:
Model, gözlemlenen veriler ile tahmin edilen değerler arasındaki farkı mümkün olduğunca küçülten doğruyu bulmaya çalışır. Bu farklara artıklar veya hatalar denir. Yaygın yaklaşım, hata karelerinin toplamını en aza indirmektir; böylece büyük hatalar daha fazla ağırlık kazanır.
Örneğin bir evin alanı ile satış fiyatı arasındaki ilişkiyi incelemek istediğinizi varsayalım. Alan
Bu varsayımsal modelde sabit terim 500.000, metrekare başına katsayı ise 20.000'dir. Alan 80 metrekare olduğunda tahmin şöyle hesaplanır:
Sonuç, modelin 80 metrekarelik bir ev için tahmin ettiği fiyattır. Bu değer gerçek satış fiyatının kesin olarak 2.100.000 olacağını kanıtlamaz; yalnızca modelin eğitim verilerinde öğrendiği ortalama ilişkiye dayalı bir tahmindir.
Tek değişkenli doğrusal regresyonda bir girdi kullanılır. Örneğin yalnızca ev alanından fiyat tahmini yapılır. Çoklu doğrusal regresyonda ise alanın yanında oda sayısı, bina yaşı veya konum puanı gibi birden fazla girdi kullanılır.
Çoklu model örneği şu biçimde olabilir:
Buradaki her katsayı, diğer değişkenler sabit kabul edildiğinde ilgili değişkenin tahmin üzerindeki ortalama etkisini ifade eder. Ancak değişkenler birbiriyle güçlü biçimde ilişkiliyse katsayıları yorumlamak zorlaşabilir.
Aşağıdaki örnek, çalışma süresi ile sınav puanı arasındaki ilişkiyi varsayımsal verilerle modeller.
Kodda
Modelin yalnızca tahmin üretmesi yeterli değildir. Tahminleri test verisi üzerinde değerlendirmek gerekir. Eğitim verisindeki başarı, modelin daha önce görmediği verilerde de başarılı olacağını göstermez. Veriyi eğitim ve test kümelerine ayırmak; ardından ortalama mutlak hata, ortalama kare hata veya
Doğrusal regresyon, değişkenler arasındaki ilişkinin yaklaşık olarak doğrusal olduğu durumlarda daha anlamlıdır. İlişki eğri biçimindeyse, değişkenler eksikse veya hedef değer kategorikse doğrudan doğrusal regresyon uygun olmayabilir. Örneğin “müşteri ayrıldı mı?” gibi iki sınıflı bir sonuç için lojistik regresyon daha uygun bir seçenek olabilir.
Ayrıca regresyon, iki değişken arasında ilişki bulduğunda tek başına nedenselliği kanıtlamaz. Çalışma süresi ile puan arasında ilişki görülmesi, puandaki bütün değişimin yalnızca çalışma süresinden kaynaklandığını göstermez; önceki bilgi, sınavın zorluğu ve diğer koşullar da etkili olabilir.
Bu nedenle doğru kullanım sırası; hedef değişkeni ve girdileri belirlemek, veriyi temizlemek, modeli eğitim verisiyle kurmak, test verisiyle ölçmek ve katsayıları alan bilgisiyle birlikte yorumlamaktır. Tahmin hatası kullanım amacına göre kabul edilebilir değilse daha fazla veri, farklı değişkenler veya doğrusal olmayan başka bir model değerlendirilmelidir.
y = a + b·x. Burada x girdi değişkenini, y tahmin edilen sonucu, a başlangıç değerini ve b ise x bir birim değiştiğinde y değerinin ortalama ne kadar değiştiğini gösterir. Veriyi doğru hazırlayıp modeli eğittiğinizde tahmin yapabilir, katsayıları yorumlayabilir ve tahminlerin ne kadar hatalı olduğunu ölçebilirsiniz.Doğrusal regresyon nasıl çalışır?
Model, gözlemlenen veriler ile tahmin edilen değerler arasındaki farkı mümkün olduğunca küçülten doğruyu bulmaya çalışır. Bu farklara artıklar veya hatalar denir. Yaygın yaklaşım, hata karelerinin toplamını en aza indirmektir; böylece büyük hatalar daha fazla ağırlık kazanır.
Örneğin bir evin alanı ile satış fiyatı arasındaki ilişkiyi incelemek istediğinizi varsayalım. Alan
x, fiyat ise y olsun. Model şu sonucu üretebilir:fiyat = 500.000 + 20.000 × alanBu varsayımsal modelde sabit terim 500.000, metrekare başına katsayı ise 20.000'dir. Alan 80 metrekare olduğunda tahmin şöyle hesaplanır:
500.000 + 20.000 × 80 = 2.100.000Sonuç, modelin 80 metrekarelik bir ev için tahmin ettiği fiyattır. Bu değer gerçek satış fiyatının kesin olarak 2.100.000 olacağını kanıtlamaz; yalnızca modelin eğitim verilerinde öğrendiği ortalama ilişkiye dayalı bir tahmindir.
Tek değişkenli ve çoklu doğrusal regresyon
Tek değişkenli doğrusal regresyonda bir girdi kullanılır. Örneğin yalnızca ev alanından fiyat tahmini yapılır. Çoklu doğrusal regresyonda ise alanın yanında oda sayısı, bina yaşı veya konum puanı gibi birden fazla girdi kullanılır.
Çoklu model örneği şu biçimde olabilir:
fiyat = a + b1·alan + b2·oda_sayısı + b3·bina_yaşıBuradaki her katsayı, diğer değişkenler sabit kabul edildiğinde ilgili değişkenin tahmin üzerindeki ortalama etkisini ifade eder. Ancak değişkenler birbiriyle güçlü biçimde ilişkiliyse katsayıları yorumlamak zorlaşabilir.
Basit bir Python örneği
Aşağıdaki örnek, çalışma süresi ile sınav puanı arasındaki ilişkiyi varsayımsal verilerle modeller.
scikit-learn kurulmuş bir Python ortamında çalıştırılabilir.
Python:
from sklearn.linear_model import LinearRegression
# Girdi: çalışma süresi (saat)
X = [[1], [2], [3], [4], [5]]
# Çıktı: sınav puanı
y = [52, 58, 65, 71, 79]
model = LinearRegression()
model.fit(X, y)
tahmin = model.predict([[6]])
print("Eğim:", model.coef_[0])
print("Sabit terim:", model.intercept_)
print("6 saat için tahmin:", tahmin[0])Kodda
X iki boyutlu tutulur; çünkü kütüphane her satırı bir gözlem, her sütunu bir özellik olarak bekler. y hedef değerlerdir. fit modeli verilen örneklerle eğitir, predict ise yeni bir çalışma süresi için tahmin üretir. Bu veri kümesi yalnızca açıklama amacıyla varsayımsaldır; çıktının gerçek sınav sonuçlarını temsil ettiği kabul edilmemelidir.Model sonucu nasıl yorumlanır?
Modelin yalnızca tahmin üretmesi yeterli değildir. Tahminleri test verisi üzerinde değerlendirmek gerekir. Eğitim verisindeki başarı, modelin daha önce görmediği verilerde de başarılı olacağını göstermez. Veriyi eğitim ve test kümelerine ayırmak; ardından ortalama mutlak hata, ortalama kare hata veya
R² gibi ölçütleri incelemek daha doğru bir değerlendirme sağlar.R² değeri, hedef değişkendeki değişimin model tarafından ne ölçüde açıklandığını gösteren bir ölçüttür. Yüksek olması modelin her durumda doğru tahmin yaptığı anlamına gelmez. Özellikle veri kümesi küçükse, aykırı değerler varsa veya model eğitim verisine aşırı uyum sağladıysa sonuç yanıltıcı olabilir. Tahmin hatalarını gerçek kullanım bağlamında kabul edilebilir bir eşikle karşılaştırmak gerekir.Doğrusal regresyonun sınırları
Doğrusal regresyon, değişkenler arasındaki ilişkinin yaklaşık olarak doğrusal olduğu durumlarda daha anlamlıdır. İlişki eğri biçimindeyse, değişkenler eksikse veya hedef değer kategorikse doğrudan doğrusal regresyon uygun olmayabilir. Örneğin “müşteri ayrıldı mı?” gibi iki sınıflı bir sonuç için lojistik regresyon daha uygun bir seçenek olabilir.
Ayrıca regresyon, iki değişken arasında ilişki bulduğunda tek başına nedenselliği kanıtlamaz. Çalışma süresi ile puan arasında ilişki görülmesi, puandaki bütün değişimin yalnızca çalışma süresinden kaynaklandığını göstermez; önceki bilgi, sınavın zorluğu ve diğer koşullar da etkili olabilir.
Bu nedenle doğru kullanım sırası; hedef değişkeni ve girdileri belirlemek, veriyi temizlemek, modeli eğitim verisiyle kurmak, test verisiyle ölçmek ve katsayıları alan bilgisiyle birlikte yorumlamaktır. Tahmin hatası kullanım amacına göre kabul edilebilir değilse daha fazla veri, farklı değişkenler veya doğrusal olmayan başka bir model değerlendirilmelidir.
Son düzenleme:
