Diederik Kingma: Doktora Sırasında VAE ve Adam'ı Yazan Hollandalı

İki makale, iki devrim

Diederik Kingma'nın doktora dönemi (Amsterdam Üniversitesi, 2012-2017) iki çığır açan makaleyle taçlandı:

1. Auto-Encoding Variational Bayes (VAE), 2013: Olasılıksal üretken modelin temel mimarisi.
2. Adam: A Method for Stochastic Optimization, 2014: Modern derin öğrenmenin standart optimizer'ı.

Bir doktora öğrencisinin bu kadar etkili iki makale yayımlaması nadir. Kingma 25 yaşındaydı.

Bugün AdamW her büyük LLM eğitiminde, VAE Stable Diffusion'da. Tek bir kişinin imzaları her yerde.

Hollanda akademik geleneği

Hollanda doğumlu (1982). Utrecht Üniversitesi'nde bilgisayar bilimi (2009). Yüksek lisansta yapay zeka odaklı. Sonra Amsterdam Üniversitesi (UvA) doktora — danışman: Max Welling.

Welling olasılıksal derin öğrenmenin uluslararası lideri. Hollanda'nın AI cephesinin baş figürlerinden. Kingma onun en başarılı öğrencisi oldu.

VAE makalesinin yazılış hikâyesi

Kingma 2013 yazında stajda OpenAI'a gitti (kuruluş öncesi NeurIPS workshop'ları, az insan). Reparameterization trick orada düşüncesinde aydınlandı:

"Bir akşam evde tahtaya yazdım: '$z = \mu + \sigma \epsilon$'. Bu kadar. Birden tüm matematik açıklığa kavuştu."

Bu püf nokta basit ama kritik. Stokastik örneklemeden geri yayılım yapmayı mümkün kılar. VAE bunsuz çalışmaz.

Makale Aralık 2013'te yayımlandı, Mayıs 2014 NeurIPS'te sunuldu. Etki büyüdü.

Adam — temiz mühendislik

VAE makalesinden 6 ay sonra Kingma + Jimmy Ba (Toronto, Hinton öğrencisi) Adam optimizer'ı yayımladı.

Fikir: gradient'in hareketli ortalaması (momentum) + kareleri (RMSprop-benzeri) birlikte. Her parametre için uyarlanabilir öğrenme oranı.

Adam'in başarısı sadelik + pratiklik. Tek bir varsayılan hiperparametre seti hemen her görevde çalıştı. Endüstri standardı 2 yıl içinde.

Daha sonra AdamW (Loshchilov, 2017) küçük bir düzeltme getirdi. Ama temel Kingma'nin Adam'ı.

OpenAI ve Google Brain

Kingma 2015'te OpenAI'a katıldı. Kurucu üyelerden biri (genellikle listelerde yer almasa da). 2018'de Google Brain'e geçti. Hâlâ orada.

Bu yatay hareketler Edward Hu ve diğer modern AI uzmanlarının tipik yolu. Akademiden endüstriye doğrudan, kurum bağı yok.

Sonraki çalışmaları

Kingma doktora sonrası çalışmaları:

• Normalizing flows (2015+): VAE'nin bir genişletmesi; modern flow matching'in atası.
• GLOW (2018): İnvertibal generative modeller.
• Diffusion models: Yang Song ile birlikte score-based generative models çalışmaları.

Yani: VAE → Flows → Diffusion. Kingma modern üretici AI'nın matematiksel hattını yıllar boyunca takip ederek geliştirdi. Sade evrim.

"Görünmez büyük figür"

Kingma modern AI tarihinde çok az tartışılır. Sebep:

• Twitter'da aktif değil.
• Podcast vermez.
• Şirketi yok.
• Halk söyleminde sessiz.

Sadece makaleleri konuşur. Ama o makaleler dünyayı şekillendiriyor.

Bu Catanzaro'ya benzer profil — modern AI'da sessiz altyapı insanları. Marka değil mühendis.

Akademik karakter

Kingma'nın bir 2024 söyleşisinde:

"İyi bir makale 3 sayfadır. 30 sayfa makaleler genellikle hatalı düşünceyi gizler. Sadeleştirmek bilim insanının asıl işidir."

Bu felsefe VAE makalesi (8 sayfa) ve Adam makalesi (15 sayfa) için somut. Her ikisi de matematik açısından temiz ve kesin.

Bu sadelik tarzı, He Kaiming, Edward Hu, Quoc Le ile paralel. Sade fikir kültü.

Sade ders

Kingma hikâyesinden iki şey:

1. Doktora dönemi en üretken zamandır. Kingma 25-27 yaş arasında AI tarihinin temel iki makalesini yazdı. Akademik genç enerji kıymetlidir — kurum bağı yok, riskli fikirler verir.
2. Görünmezlik etki kaybı değildir. Kingma sessiz. Ama makaleleri ChatGPT, Stable Diffusion, Llama — her yerde çalışıyor. Akademik etki kamuoyu görünürlüğüne bağlı değil.

Bağlam

VAE için: [[vae-variational-autoencoder-olasiliksal-uretici-modelin-temeli]]. Adam için: [[adamw-modern-llm-egitimlerinin-tek-optimizatoru]]. Flow matching için: [[flow-matching-diffusion-un-daha-temiz-kardesi]]. Diffusion için: [[diffusion-modelleri-gurultu-ile-resim-yapmanin-sasirtici-yolu]]. Welling ekolü için: [[graph-neural-networks-iliskili-veri-icin]] (varsa).