Yang Song: Score-Based Modellerin Mucidi, Sora'nın Arkasında

Tek bir doktora, üç temel makale

Yang Song 2017'de Stanford'a doktora için katıldı. Danışman: Stefano Ermon. Konusu: üretici modeller.

Doktora döneminde üç temel makale yayımladı:

1. NCSN (2019): Noise Conditional Score Networks. İlk pratik score-based model.
2. Improved NCSN (2020): Geliştirilmiş eğitim.
3. SDE çerçevesi (2020): Diffusion ve score-based birleştirildi.

Bu üç makale modern üretici AI'nın matematiksel temelidir. Bir doktora öğrencisinin bu kadar etkili çalışma çıkarması nadir.

Tsinghua Üniversitesi mezunu

Yang Song 1992 Çin doğumlu. Tsinghua Üniversitesi'nde matematik ve fizik (2017'de mezun). Çin'in en parlak öğrencilerinden — Tsinghua gaokao'da en yüksek puanları alan kişiler.

Stanford'a doğrudan doktoraya geldi. Doktora normalde 5-6 yıl, Yang Song 4 yılda tamamladı (2021).

NCSN — pratik score-based'in başlangıcı

2019 makalesinin sezgisi: Hyvärinen'in 2005 score matching teorik fikri vardı, ama pratikte çalışmıyordu. Sebep: gerçek veri dağılımı çok seyrek — yüksek boyutlu uzayda neredeyse boş.

Yang Song çözümü: veriye gürültü ekle. Gürültülü veri dolu uzayda olur. Score function bu dolu uzayda öğrenilebilir.

Çoklu gürültü seviyesi (annealing): yüksek gürültüden başla (rahat öğrenme), düşük gürültüye geç (hassas detaylar). Bu, diffusion modelinin kayıp formülünün ilk versiyonu.

DDPM ile bağlantı

Aynı yıllarda Jonathan Ho (Berkeley) DDPM'i yayımladı. Görünüşte farklı bir yaklaşım: "gürültü ekleme + denoising adımları".

2020'de Yang Song matematiksel olarak ikisinin özdeş olduğunu gösterdi. DDPM = score-based'in özel hali.

Bu birleşim modern diffusion modellerini teorik bütünlüğe kavuşturdu. AI tarihinde nadir bir matematiksel sentez anı.

OpenAI (2022)

Doktora bitince OpenAI'a katıldı. DALL-E 2 ve Sora'nın temelinde rol oynadı.

Sora (2024 Şubat): OpenAI'nin video üretimi modeli. 60 saniye gerçekçi video. Diffusion mimarisi (DiT) ve flow matching kullanır. Yang Song'un 2019-2020 matematiksel temelinin somut ürünü.

Bir röportajda:

"Doktorayı yazarken biliyordum ki bu fikirlerin pratik etkisi olacak, ama 4 yıl sonra Sora görüldüğünde bile şaşırtıcı bir hız. Akademik düşüncenin endüstri ürünüyle arasındaki süre hızla kısalıyor."

Anthropic'e geçiş (2024)

Eylül 2024'te OpenAI'dan ayrılıp Anthropic'e katıldı. Schulman ile aynı yıl. Sebepleri tam belli değil ama:

• OpenAI'da yoğun ürün baskısı.
• Anthropic'in alignment cephesi.
• Daha akademik kültür.

Bu transfer Yang Song'un research yönünü değiştirebilir. Anthropic'in interpretability ve safety odaklı yapısı, üretici modellerle ne yapacağı belirsiz.

"Görünmez yıldız"

Yang Song modern AI'da Brockman, Karpathy gibi görünür figür değil. Twitter'da yarı aktif. Akademik makaleleriyle konuşur.

Bu, Hu, Kingma, Catanzaro'ya benzer profil — görünmez büyük figür. Modern AI'nın iki tarzı: gösterici ve inşa edici. Yang Song ikincisi.

Akademik soyağacı

Yang Song'un öğrencileri ya da mentörleri:

• Stefano Ermon (danışman): Stanford profesörü, olasılıksal üretici modeller.
• Jonathan Ho (paralel araştırmacı): DDPM'in baş yazarı, Google Brain.
• Diederik Kingma (benzer alanda): Flow ve diffusion çalışmaları.

Bu hat — Welling, Kingma, Ermon, Yang Song — modern üretici AI'ın matematiksel ana koridorudur.

"Sade matematiksel düşünce"

Yang Song bir konuşmasında:

"Karmaşık deney yapmaktan kaçınmaya çalıştım. Önce matematik temelini doğrula, sonra implementasyona geç. Bu yol daha az popüler ama daha sağlam."

Bu tarz onun makalelerinde belli. Her makale önce teori, sonra deney. Modern AI'da nadir — çoğu makale "biz şunu yaptık çalıştı" diyor.

Sade ders

Yang Song hikâyesinden iki şey:

1. Akademik dehâ + zaman + danışman. Yang Song matematik bilgisi muazzam, ama Ermon'un danışmanlığı, Stanford'un atmosferi, doğru zaman ona bu üç temel makaleyi yazdırdı. Yetenek + yapı birlikte etkili.
2. Matematiksel birleştirici hareketler değerli. DDPM ve score-based'i birleştirmek yeni bir keşif değildi. Ama akademik anlayış için kritikti. Sentez bilim insanının asıl işi.

Bağlam

Score-based için: [[score-based-modeller-diffusion-un-baska-bir-dili]]. Diffusion için: [[diffusion-modelleri-gurultu-ile-resim-yapmanin-sasirtici-yolu]]. Flow matching için: [[flow-matching-diffusion-un-daha-temiz-kardesi]]. OpenAI için: [[mira-murati-arnavutluk-tan-openai-cto-luguna]]. Tsinghua AI ekolü için: [[he-kaiming-resnet-in-mucidi-ve-modern-cv-nin-mimari]].