En Küçük Kareler Yöntemi: Gauss'un Kaybolan Bir Gezegeni Bulup Modern Veri Biliminin Temelini Attığı Hikâye

1 Ocak 1801 gecesi, Palermo'daki bir İtalyan rahip-astronom Giuseppe Piazzi, gökyüzünde dolaşan, daha önce hiçbir kataloğa girmemiş soluk bir cisim fark etti. Onu birkaç hafta boyunca izledi ve günlüğüne tam 41 gece boyunca konumunu kaydetti. Sonra, Şubat ayı ortasında, hastalanıp gözlemlere ara vermek zorunda kaldı. Aradan birkaç hafta geçtiğinde gökyüzüne döndü; ama cisim artık görünmüyordu. Mevsim ilerledi, cisim Güneş'in arkasında kaldı. Sonbaharda yeniden gözükmesi gerekiyordu — ama tam olarak gökyüzünün neresinde?

Avrupa'nın en büyük astronomları, sadece 41 günlük gözlemden yörüngeyi hesaplamaya çalıştılar. Ama 41 gün, koca bir gezegen yörüngesinin yalnızca küçük bir parçası. Tahminler birbirinden saatler hatta günler farklıydı. Cisim kaybolma riskiyle karşı karşıyaydı.

İşte tam o sırada, Almanya'nın Brunswick şehrinde, 23 yaşında bir matematikçi devreye girdi: Carl Friedrich Gauss.

Gauss'un kestirimi

Gauss, kendi yeni geliştirdiği bir yöntemi kullanarak Piazzi'nin verilerini değerlendirdi. Birkaç gün hesap yaptıktan sonra şu öneriyi yayımladı:

Cisim, $1801$ yılı sonunda Boğa takımyıldızının belirli bir bölgesinde tekrar gözükecek.

31 Aralık 1801 gecesi, Macarist astronom Franz Xaver von Zach, Gauss'un belirttiği bölgeye teleskobunu çevirdi. Cisim oradaydı. Aslında orada, tam olarak Gauss'un dediği yerin yalnızca yarım derece uzağındaydı — diğer astronomların tahminlerinden onlarca kat daha doğru.

Bu cisim, bugün Ceres dediğimiz cüce gezegenin keşfiydi. Ve genç Gauss, dünyaya yeni bir matematik aracının gücünü göstermişti: en küçük kareler yöntemi.

Yöntem nedir?

Düşünün ki elinizde bir grup ölçüm var. Mesela bir asteroidi farklı zamanlarda gökyüzünde gözlemleyip $(t_1, x_1), (t_2, x_2), \ldots, (t_n, x_n)$ verileri topladınız. Bu verilerin altındaki "gerçek" yörüngeyi (bir elips, parabol ya da hiperbol) tahmin etmeniz gerekiyor.

Sorun şu: ölçümler hatasızdır diyemezsiniz. Teleskop küçük titreşir, atmosfer ışığı saptırır, gözlemci insanidir. Tüm noktalardan tam olarak geçen bir eğri bulmak çoğu kez ne anlamlı ne de mümkündür. O zaman ne yapmalı?

Gauss ve aynı dönemde Fransa'da Adrien-Marie Legendre'in cevabı şudur: Hatanın karelerinin toplamını en aza indiren eğriyi seç.

Daha tekniği şöyle: eğer bir parametreli eğrimiz $f(t; \theta)$ varsa ($\theta$ ayarlanabilir parametre — örneğin elips eksenleri ve eğikliği), şu büyüklüğü en küçük yapacak $\theta$ değerini ara:

$S(\theta) = \sum_{i=1}^{n} \bigl(x_i - f(t_i; \theta)\bigr)^2$

Yani her gözlem noktasının modelimizden farkını al, kareye yükselt, hepsini topla. Bu kareli hata toplamını en küçük yapan parametre değeri "en iyi" uyumdur.

Neden kareler? Mutlak değer veya mutlak hata neden değil?

Mantıklı bir soru. "Niye $|x_i - f(t_i; \theta)|$'in toplamını minimize etmiyoruz?" Birkaç cevap var:

1. Türev kolaylığı: Kare ifadesinin türevi düz bir lineer denkleme götürür; mutlak değer fonksiyonunun sıfırda türevi yoktur. Hesap çok daha kolaydır.
2. Cezalandırma: Karesi alındığında büyük hatalar orantısız biçimde cezalandırılır. Bu, "çok aykırı bir gözlem" olduğunda modelin onu daha kararlı biçimde kabul etmesini sağlar.
3. İstatistiksel temel: Gauss daha sonra şunu da gösterdi: eğer ölçüm hataları normal dağılıma (çan eğrisine) uyuyorsa, en küçük kareler tahmini, "en olası" parametreyle aynıdır. Bu, yöntemin sadece pratik değil, derin bir istatistiksel temelinin de olduğunu gösterir.

Lineer regresyon: en bilinen örnek

En küçük karelerin en yaygın uygulaması, iki değişken arasında bir doğrusal ilişki aramaktır. Verileriniz olsun: bir ülkenin ekonomisinin yıllık büyümesi $y$ ile o yıl yapılan AR-GE harcamasının GSMH'ye oranı $x$. Verileri grafiğe döktüğünüzde noktalar bir doğru etrafında saçılmış görünüyor.

"En iyi doğru" denkleminin formu $y = a + bx$. Eğim $b$ ve kesişim $a$'yı bulmak için kareli hataları minimize ederiz:

$S(a, b) = \sum (y_i - a - b x_i)^2$

Türev alıp sıfırlayarak çözdüğümüzde meşhur formüller çıkar:

$b = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2}, \qquad a = \bar{y} - b \bar{x}$

İşte bu, lineer regresyonun kalbidir. Excel'in =SLOPE() fonksiyonundan Python'un scikit-learn kütüphanesine, tüm istatistiksel modellemenin başlangıcıdır.

Gauss mı Legendre mi: yöntem kimin?

Tarih biraz tartışmalıdır.

Legendre, 1805'te yöntemi açıkça yayımladı; kuyrukluyıldız yörüngelerini hesaplama üzerine yazdığı bir kitabın ekinde "en küçük kareler yöntemi" adını verdi. Bu, terimi ilk kez basılı olarak kullanan eserdir.

Gauss, 1809'da kendi yöntemini yayımladığında, "ben bu yöntemi zaten 1795'ten beri kullanıyordum" dedi. Hatta Ceres hesabını da bu yöntemle yapmıştı (1801). Legendre, bu açıklamadan çok rahatsız oldu ve Gauss'u "öncelik hırsızlığı" ile suçladı.

Bugünkü tarih yargısı: ikisinin de yöntem üzerinde özgün katkıları vardır. Legendre, yöntemi ilk basılı olarak ortaya koyan kişidir. Gauss, istatistiksel temelini (normal dağılım bağlantısı) ilk veren ve onu somut bir astronomik problemde başarıyla uygulayan kişidir. Çoğu bilim tarihçisi bugün yönteme "Gauss–Legendre" en küçük kareler der.

Modern dünyada her yerde

En küçük kareler, doğduğundan bu yana matematik tarihi içinde bir kez bile "modası geçmiş" kabul edilmedi. Bugün:

• Ekonometri — GSMH, enflasyon, faiz arasındaki ilişkileri tahmin etmek için.
• Mühendislik — sensör verilerini "düz çizgi" veya "polinom" olarak modellemek.
• GPS ve uydu navigasyonu — birden çok uydu sinyalini birleştirerek konumu tahmin etmek.
• Makine öğrenmesi — Doğrusal regresyondan polinom regresyona, lojistik regresyonun arka planına, sinir ağlarının kayıp fonksiyonunun (loss function) çoğu zaman "ortalama kareli hata" (MSE) olarak kullanılmasına kadar.

Bir başka deyişle: modern yapay zekânın temel optimizasyon işlerinin pek çoğu, 1801'de Brunswick'te genç bir matematikçinin geliştirdiği fikrin doğrudan torunlarıdır.

Bir hayat dersi

En küçük kareler yöntemi, "mükemmel veriniz olmayacak" gerçeğini matematiksel olarak kabul eder. Tüm noktalardan geçen bir doğru aramaz; aksine kabaca en iyi "uyumu" bulmaya çalışır. Bu felsefe, sadece matematik için değil, hayatın çoğu kararı için de geçerlidir: gerçek dünyada hatasız veri yoktur, hatasız model yoktur — sadece kareli hatasını en az yapanı vardır.

Bir sonraki sefer bir veri seti üzerinde bir doğru çizip "trend bu" dediğinizde, Brunswick'in gri bir kış akşamında bir defterin başında oturan genç Gauss'u hatırlayabilirsiniz. Onun astronomik bir krize verdiği matematiksel cevap, bugün bilim ve teknolojinin sessiz iskeleti hâline geldi.