Jordan Hoffmann: Chinchilla Makalesinin Baş Yazarı

Modern LLM ekonomisinin kuralını değiştiren

Mart 2022. DeepMind'in Chinchilla makalesi. 400+ farklı model deney. Sonuç: GPT-3 aşırı büyük + az veri ile eğitilmiş.

Bu basit bulgu modern LLM ekonomisini değiştirdi. Llama, Mistral, DeepSeek — hepsi Chinchilla'nın izinde.

Makalenin baş yazarı: Jordan Hoffmann. O dönem DeepMind'da kıdemli araştırmacı.

Akademik kökeni

Hoffmann Kanada'da yetişti. McGill Üniversitesi matematik ve fizik (2014). Sonra Princeton doktora.

Doktora konusu: hesaplamalı fizik ve makine öğrenmesi. Klasik bilim → AI yolu — Anandkumar, Hochreiter benzeri.

DeepMind (2019-2024)

Doktora sonrası DeepMind'a katıldı. Sayısız çalışma:

• Gopher (2021): 280B parametre model.
• RETRO (2022): Retrieval-augmented dil modeli.
• Chinchilla (2022): Modern LLM ekonomisinin kuralı.
• Sparrow (2022): Helpful + harmless chatbot.

Hoffmann'ın DeepMind dönemi çok üretkendi. Gopher → RETRO → Chinchilla hatı modern LLM araştırmasının baş izleri.

Mistral'e geçiş (2024)

2024'te Hoffmann Mistral'a katıldı. Bu transfer şaşırtıcıydı. Çoğu DeepMind araştırmacısı OpenAI veya Anthropic'e gider; Hoffmann Fransa'ya gitti.

Mistral'da rolü: Research scientist. Mensch ve Lample'in araştırma cephesini güçlendiren.

Bu transfer Avrupa AI bağımsızlığının somut örneği. DeepMind'in (Google) en parlak araştırmacılarından biri Fransa'ya geçti.

"Akademik dürüstlük"

Hoffmann'in Chinchilla makalesinin önemi sadece bulgu değil. OpenAI'in 2020 Kaplan scaling laws'una karşı akademik dürüst düzeltme.

Bu nadir bir tutum: rakip şirketin temel iddiasını bilimsel olarak çürütmek. Hem bilimsel hem politik akademik dürüstlük.

Modern AI'da bu tarz dürüst karşılıklı düzeltme nadir. Çoğu şirket kendi sonuçlarını över.

"Verim odağı"

Hoffmann'in akademik tarzı: verim optimization. "Aynı bütçe ile daha iyi sonuç nasıl?" sorusu.

Bu, modern AI'da kritik soru. ChatGPT pahalı, Llama 3 ucuz — fark Hoffmann tarzı düşünce.

Sade ders

Hoffmann hikâyesinden iki şey:

1. Akademik dürüstlük endüstri değer yaratır. Hoffmann OpenAI'in iddiasını çürüttü; Meta bunu Llama'da uyguladı; modern AI ekonomisi farklı evrildi. Doğru bilim ekonomi yaratır.
2. Avrupa AI talenti çekiyor. DeepMind'den Mistral'e geçiş Avrupa AI cephesi için sembolik. Tek ABD değil, Avrupa da talent çekiyor.

Bağlam

Chinchilla için: [[chinchilla-yasalari-veri-mi-parametre-mi]]. Scaling laws için: [[scaling-laws-yapay-zekayi-buyuk-yapmak-icin-matematik-formul]]. Mistral için: [[mistral-ai-avrupa-nin-open-source-cevabı]]. DeepMind için: [[demis-hassabis-deepmind-in-vizyoner-kurucusu]]. Mensch için: [[arthur-mensch-mistral-ai-nin-fransiz-kurucusu]].