Christopher Ré: Stanford Veri Sistemleri ve Foundation Models Mucidi

Veritabanından AI'a

Christopher Ré, veritabanı topluluğunun yetiştirdiği bir araştırmacıdır. Akademik kökeni klasik bilgisayar bilimi — Wisconsin'de doktora (2009, danışman Jeff Naughton). Konusu: olasılıksal veritabanları.

Modern AI'da nadir profil. Çoğu lider ya sinir ağı ya da istatistik kökenli. Ré veri yönetimi ve sorgulama dünyasından geliyor.

Stanford'a (2013–)

2013'te Stanford bilgisayar bilimi profesörü oldu. Burada DAWN (Data Analytics for What's Next) Lab'ı kurdu. Sonradan Hazy Research'a dönüştü.

Ekibi: doktora öğrencileri, postdoclar, master öğrencileri toplam 30+ kişi. Stanford'un en üretken AI laboratuvarlarından biri.

Snorkel (2015) — veri programlama

İlk büyük etkisi: Snorkel projesi. Alex Ratner, Stephen Bach ve diğerleri ile birlikte. Tez:

"Etiketli veri pahalı. Zayıf etiket fonksiyonları ucuz yazılabilir. Onları birleştirip yüksek kaliteli etiket çıkarabiliriz."

Snorkel pratikteki etkisi büyük: Google, IBM, çoğu büyük şirket veri etiketleme için kullandı. Snorkel AI girişimi $135M'lık değerlemeye ulaştı.

Hazy Research — mimari araştırması

Daha sonra ekibin odağı mimari verimliliğine kaydı. Aşağıdaki büyük modeller buradan çıktı:

S4 (2021)

Structured State Space Sequences. Albert Gu (PhD öğrenci) baş yazar. Sürekli zaman dinamiksel sistemler için sinir ağı. Long Range Arena benchmark'ında transformer'i geçti.

Mamba (2023)

Albert Gu + Tri Dao ile birlikte. S4'ün gelişmiş versiyonu. Selektif state space. Modern transformer'a alternatif.

FlashAttention (2022)

Tri Dao (PhD öğrenci) baş yazar. Hazy Research'ta yazıldı. Transformer'i 3-5x hızlandıran kütüphane. Modern AI altyapısının standart parçası.

H3 (2023)

Hibrit state space + attention. Mamba'nın ardından geliştirildi.

Bu çıktılar başına az değil. Bir laboratuvar bu kadar etkili çalışma çıkarması nadir.

Akademik dehâ ya da iyi mentor?

Ré'nin akademik etkisi öğrencilerinin başarısından geliyor: Albert Gu, Tri Dao, Stephen Bach, Alex Ratner — hepsi kendi alanlarında lider.

Bu nokta: Ré kendisi büyük makaleler yazmıyor genelde. Öğrencilerini öne çıkarıyor. Modern AI'da araştırma yönetici rolünün örneği.

Max Welling'le benzer profil — uzun vadeli mentor etkisi.

Endüstri bağlantısı — SambaNova

Ré aynı zamanda SambaNova Systems'in ortak kurucusu (2017). AI çipi üreticisi. NVIDIA'ya alternatif.

SambaNova özellikle inference verimliliği üzerinde duruyor. Llama 3.1 405B modelini çok hızlı çalıştıran demolarla biliniyor. Cerebras, Groq ile birlikte alternatif AI silikon'unun temsilcilerinden.

Akademik etkisi + endüstri etkisi birleşimi. Modern bilim insanı modeli.

Tarz

Bir 2024 söyleşisinde:

"İyi araştırma müdürü dans eder, kendi olmadığı yerde başarılı olur. Bir grup zeki insanı doğru sorulara yönlendirmek ve engellerden uzak tutmak — temel iş."

Bu yönetici tarzı, modern AI'nın takım doğasıyla uyumlu. Bireysel dehâ değil, koordine edilmiş zekâ.

"Veri sistemleri DNA"

Ré'nin laboratuvarının ortak özelliği: veri ile sistem birlikte düşünmek. Snorkel veri programlama. Mamba ve FlashAttention donanım-bilinçli algoritma. Tüm çalışmalar hesap ve veri birleşiminde.

Bu bakış açısı NVIDIA Catanzaro ile paralel: yazılım + donanım + veri bütün.

Sade ders

Ré hikâyesinden iki şey:

1. Mentor etkisi makale etkisinden büyük. Ré az makale yazıyor ama öğrencileri (Gu, Dao) modern AI'ı tanımlıyor. Akademinin uzun vadeli zaman ölçeği bu — yıllar içinde değil, kuşaklar içinde.
2. Disiplinler arası geçişler değerlidir. Ré veritabanı kökenli. Modern AI altyapısının veri + sistem perspektifi onun bakışından geliyor. Farklı bir dilden gelmek avantajdır.

Bağlam

Mamba için: [[mamba-transformer-a-meydan-okuyan-uzun-bagimli-model]]. FlashAttention için: [[flashattention-gpu-yu-akilli-kullanan-attention]]. Snorkel için: [[percy-liang-foundation-models-uzerine-akademik-dushe]]. Welling benzer mentor için: [[max-welling-hollanda-ai-akademisinin-baba-figuru]]. Catanzaro için: [[bryan-catanzaro-nvidia-deep-learning-altyapisinin-mimari]].