Lukasz Kaiser: Tensor2Tensor'dan Anthropic'e Polonyalı Mimar

Polonya'dan Paris'e

Lukasz Kaiser 1972 Polonya doğumlu. Yaş için modern AI'da nadir bir profil — kuşağı LeCun, Hinton arası. Polonya Bilimler Akademisi'nde mantık ve bilgisayar bilimi (1996).

Sonra Paris'te École Normale Supérieure'de yıllar geçirdi. CNRS'de teorik bilgisayar bilimi araştırmacısı. Mantık ve karmaşıklık teorisi uzmanı.

Klasik akademisyen profili. Ancak 2010'larda derin öğrenmeye kaydı.

Google Brain (2014–2021)

2014'te Google Brain'e katıldı. Burada akademik teori bilgisini pratik derin öğrenmeyle birleştirdi.

Önemli çalışmaları:

Tensor2Tensor

Kaiser, Google'da ortak kullanılan deep learning altyapı kütüphanesi Tensor2Tensor'in lideri. Transformer, BERT, T5 — hepsi T2T üzerinde geliştirildi.

T2T sonradan TensorFlow Mesh ve Trax'e dönüştü.

Transformer ortak yazarlığı

"Attention is All You Need" makalesinin 7. yazarı. Mimarinin tasarımında modüler düzeneklemenin sade matematiksel açıklamasını sundu.

Universal Transformer

2018 makalesi. Transformer'in özyinelemeli versiyonu. Daha az parametre ile daha iyi sonuç.

Reformer (2020)

Bellek verimli transformer. Lokal hash + ters bağ. Modern uzun bağlam modelleri için öncü.

OpenAI (2021–)

2021'de Google'dan ayrılıp OpenAI'a katıldı. Gerekçesi: "daha hızlı iterasyon ve daha az bürokrasi". Modern AI'da yaygın bir motivasyon.

OpenAI'da rolü tam belli değil ama:

• GPT-4 ekibi.
• o1 ve o3 modellerinin reasoning ekibinin önemli üyesi.

o1 (Eylül 2024) ve sonrası — Kaiser'in mantık ve karmaşıklık arka planı ile teorik açıklama gücü uyuyor. Reasoning modelleri klasik AI'ın arama + akıl yürütme geleneğinden besleniyor.

Yaşı ve tarzı

Modern AI ekosistemi genç. Kaiser farklı: 50'li yaşlarda. Klasik akademik kariyer — Polonyalı mantık geleneği, Fransa Doktora dönemi, sonra Amerika endüstri.

Bir 2023 konuşmasında:

"Modern AI çoğunlukla mühendislik. Ama temel sorunlar mantık ve karmaşıklık teorisinden gelir. Çoğu genç araştırmacı klasik bilgisayar bilimini bilmiyor — bu bir kayıp."

Bu görüş, modern AI'da nadir. Mantık ve teori klasik kıdemlilerin tarzı.

Polonyalı AI ekolü

Kaiser, Polonya'nın yetiştirdiği AI araştırmacılarının lider örneği. Diğerleri:

• Aleksander Madry: MIT, robustness.
• Tomáš Šingliar: Microsoft Research.
• Wojciech Zaremba: OpenAI kurucu üyesi.

Polonyalı bilgisayar bilim geleneği matematiksel olarak sağlam. Bu, modern AI'a sade temelleri taşıyan az ama önemli bir kanal.

"Görünmez teorisyen"

Kaiser modern AI'da sessiz figür. Twitter'da yarı aktif. Podcast vermez. Kamuya açık demolar yok.

Ama akademik etkisi büyük: yetiştirdiği genç araştırmacılar — Aidan Gomez bir öğrencisiydi. Sade matematiksel düşünceyi modern AI'a aktarması ana mirası.

Sade ders

Kaiser hikâyesinden iki şey:

1. Klasik bilgisayar bilimi temeli değerli. Mantık, karmaşıklık, otomata teorisi — bunlar modern AI'da görünmez ama derin etkili. Mühendislik ve teori birlikte daha güçlü.
2. Yaş AI'da engel değildir. Kaiser 40'larında derin öğrenmeye geçti, 50'lerinde o1 mimarisinde rol oynuyor. Bilgi birikimi taşınabilir.

Bağlam

Transformer ortak yazarları için: [[ashish-vaswani-transformer-makalesinin-bas-yazari]], [[aidan-gomez-attention-makalesinin-en-genc-yazari-ve-cohere-kurucusu]], [[noam-shazeer-transformer-mucitlerinden-ve-character-ai-girisimcisi]]. OpenAI o1 reasoning için: [[chain-of-thought-llm-leri-akil-yurutmeye-zorlamak]]. Klasik mantık ve AI için: [[allen-newell-yapay-zekanin-bilissel-mimari]]. Polonya AI ekolü için: [[ai-tarihinde-cesitli-coğrafi-merkezler]] (varsa).