Vladimir Vapnik: Makine Öğrenmesinin Matematiksel Temelini Kuran Rus

Sovyetler'in görünmez beyni

Vladimir Naumovich Vapnik 6 Aralık 1936'da Taşkent'te (Sovyet Özbekistan) bir Yahudi ailede doğdu. Sovyetler'in zorlu yıllarında matematiği keşfetti; Özbekistan Devlet Üniversitesi'nde okudu, 1964'te Moskova'daki Kontrol Bilimleri Enstitüsü'nde doktora aldı.

1960'larda Aleksey Chervonenkis ile birlikte çalışmaya başladı. Bu işbirliği 30 yıl sürecek ve modern makine öğrenmesinin matematiksel temellerini oluşturacaktı.

Sovyet bilim sistemi ona ne büyük çağrı, ne de uluslararası tanınma verdi. Yahudi olması, Soğuk Savaş duvarı, Rusça yayın yapması — Vapnik'in çalışması 20 yıl boyunca Batı'da neredeyse hiç bilinmedi.

VC boyutu (1968-1971)

Vapnik ve Chervonenkis'in 1968-1971 arası geliştirdiği kavram: VC boyutu (Vapnik-Chervonenkis dimension). Bir hipotez sınıfının (yani bir öğrenme algoritmasının kullanabildiği fonksiyonlar kümesinin) ifade gücünün ölçüsü.

Tanım: $\mathcal{H}$ bir hipotez sınıfı (örneğin "tüm doğrular düzlemde"). $\mathcal{H}$'nin VC boyutu, $\mathcal{H}$ ile her olası şekilde ayrılabilen en büyük nokta kümesinin büyüklüğüdür.

Örnek: 2D'de doğrularla sınıflandırma. 3 nokta her olası şekilde (8 farklı +/- atama) bir doğruyla ayrılabilir. 4 nokta için bazı atamalar (XOR gibi) ayrılamaz. Yani VC boyutu = 3.

Neden önemli? Çünkü Vapnik'in temel teoremi şudur:

$\text{Generalization Error} \leq \text{Training Error} + O\left(\sqrt{\frac{\text{VC boyutu}}{n}}\right)$

yani eğitim verisi $n$ büyüdükçe ve VC boyutu küçüldükçe, modelin gerçek hatası eğitim hatasına yakındır. Bu, makine öğrenmesinin matematiksel garantisidir.

Yapısal Risk Minimizasyonu (1974)

Vapnik kitabında (Rusça, 1974, sonra İngilizce Estimation of Dependences Based on Empirical Data, 1982) Yapısal Risk Minimizasyonu (Structural Risk Minimization, SRM) ilkesini geliştirdi.

Klasik istatistikte (Fisher, vb.) empirik risk (eğitim hatası) minimize edilirdi. Vapnik bunun yetmediğini gösterdi: karmaşıklık cezası eklemelisin. Modern terimle: regularization.

SRM'nin yazılımı: hipotez sınıflarını VC boyutuna göre sırala, her sınıfta en iyi modeli bul, toplam hata + VC cezası'nı minimize et. Bu prensip, overfitting'i engelleyen ilk matematiksel teorinin temeli oldu.

Bell Labs ve SVM (1991-1995)

1990'da Sovyetler dağılırken, Vapnik AT&T Bell Laboratuvarları'na (Holmdel, New Jersey) geldi. 30 yıl çalıştığı problemleri Batı dünyasıyla paylaştı; Bernhard Boser, Isabelle Guyon, Corinna Cortes ile birlikte Destek Vektör Makinesi (SVM) algoritmasını geliştirdi.

SVM kabaca şöyle çalışır:

• İki sınıfı ayıran maksimum margin'li hiperdüzlemi bul.
• Verileri yüksek boyutlu uzaya çekirdek (kernel) dönüşümüyle projele.
• Çekirdek hilesi (kernel trick) sayesinde hesaplama yüksek boyutta yapılmadan tamamlanır.

1995-2005 arası SVM, makine öğrenmesinin altın standardıydı. Spam filtreleme, görüntü sınıflandırma, gen ifadesi analizi, dokuma tanıma — her yerde.

Derin öğrenme 2012'den sonra patlamadan önce, SVM çoğu sınıflandırma problemini çözen tek yöntemdi.

"Nature of Statistical Learning Theory" (1995)

Vapnik'in 1995 İngilizce monografisi modern makine öğrenmesinin İncil'i sayılır. Kitap üç ana mesaj verdi:

1. Öğrenme = genelleşme. Eğitim verisinde iyi performans yetmez; görülmemiş veride iyi olmalı.
2. VC boyutu sınırlayıcıdır. Karmaşıklık ile veri arasında denge.
3. SRM klasik istatistiği aşar.

2000'lerde makine öğrenmesi bağımsız bir disiplin olarak oluşurken bu kitap çerçeveyi belirledi.

Vapnik'in felsefesi

Vapnik şu sözleriyle bilinir:

"Sadece bir tane şey yap, ama iyi yap."

"İyi bir teori uygulamadan üstündür."

"Trying to solve a problem that you can't solve is the best way to learn."

Derin öğrenmenin deneysel başarısı karşısında eleştirel kaldı. Derin sinir ağlarının teorik garanti vermediğini vurguladı; "Black box" yaklaşımı yerine matematiksel anlama istedi.

Sonraki yıllar

2014'te Facebook AI Research'e (FAIR) katıldı; Yann LeCun'ün ekibinde danışman oldu. Bugün hâlâ aktif: 2023'te bile makaleler yayımladı. 80'lerinin sonunda olmasına rağmen istatistiksel öğrenme teorisinin yeni teoremlerini geliştirmeye devam ediyor.

Miras

• VC boyutu ve VC eşitsizliği: makine öğrenmesi teorisinin temel taşı.
• SVM: 1995-2015 endüstride en yaygın sınıflandırma algoritması.
• PAC öğrenme (Probably Approximately Correct, Valiant 1984) çerçevesinin matematiksel temeli.
• Yapısal risk minimizasyonu: modern derin öğrenmenin regularization tekniklerine ilham.
• 2008 ACM Paris Kanellakis Ödülü, 2012 BBVA Frontier of Knowledge Ödülü, 2013 IEEE Frank Rosenblatt Ödülü ve daha pek çok ödül.

Google Scholar'da h-index 100'ü aşan az sayıda yaşayan bilim insanından biri.

Sonuç

Vladimir Vapnik'in hikâyesi, görünmezden görünür olmaya bir geçişin hikâyesidir. Sovyetler'de yıllarca anonim çalıştı, Bell Labs'ta dünyayla buluştu, derin öğrenmenin yükselişiyle teorisi yeniden gündeme geldi.

Modern AI'nın teorik temelini — öğrenme, genelleşme, karmaşıklık dengesi — onun teoremleri kurar. Her ChatGPT, her self-driving car, her tıbbi tanı modeli, en derinde Vapnik'in 1971'de Moskova'da çıkardığı denklemlere uyar.