Jonathan Frankle: Lottery Ticket Hypothesis Mucidi ve Databricks CTO'su

"Şanslı bilet" hipotezi

2018 Mart. MIT'de doktora öğrencisi Jonathan Frankle ve danışmanı Michael Carbin "The Lottery Ticket Hypothesis" makalesini yayımladı.

Tez:

"Bir rastgele başlatılmış sinir ağında küçük bir alt-ağ var. Bu alt-ağ tek başına eğitilirse, tam ağ kadar iyi olur. Şanslı bilet."

Bu sade fikir akademik camianın standart referansı oldu. Modern pruning literatürünün teorik temeli.

"Princeton + MIT + Microsoft"

Frankle Princeton lisans, sonra MIT'de doktora. Lottery Ticket Hypothesis doktora döneminde.

Doktora sonrası Microsoft Research postdoc. Sonra MosaicML'in baş mimarı.

MosaicML — eğitim optimizasyonu

Frankle MosaicML'i 2021'de kuruldu. Misyon: LLM eğitimini ucuzlatmak.

MosaicML'in araçları:

• LLM Foundry: Açık eğitim framework.
• Composer: PyTorch verimliliği.
• StreamingDataset: Veri yönetimi.

MosaicML 2023'te Databricks'e $1.3 milyar dolara satıldı. Frankle Databricks AI CTO'su oldu.

Databricks AI Cephesi

Databricks veri analitiği şirketi. Frankle'in MosaicML satışıyla AI cephesinde de aktif:

• DBRX (2024): Databricks'in açık LLM'i.
• Mosaic AI: AI ürünleri.
• Lakehouse + AI: Veri + AI birleşimi.

Frankle bu cephenin teknik lideri.

Akademik tarz

Frankle Twitter'da aktif. Akademik tartışmalarda net.

Bir 2024 söyleşisinde:

"AI verimliliği akademik tema değil iş modeli. LLM eğitimi pahalıysa demokratikleştirme zor. Verimli AI = erişilebilir AI."

Bu, modern AI etiğinin pratik versiyonu.

"Pruning vs eğitim verimliliği"

Frankle akademik kariyer pruning ile başladı, sonra eğitim verimliliğine kaydı. Sebep: pruning çıkarım verimliliği; eğitim ise devasa maliyet.

Modern AI'in ekonomik bağımlılığı eğitim cephesinde.

Sade ders

Frankle hikâyesinden iki şey:

1. Akademik fikir + endüstri pratiği = ekonomik etki. Lottery Ticket akademik makale; MosaicML endüstri ürünü. İkisi birlikte $1.3 milyar dolar değer.
2. Modern AI verimlilik tartışmasının baş figürlerinden. Frankle LLM eğitiminin demokratikleşmesi için pratik araçlar geliştiriyor. Bu, modern AI politikasının somut versiyonu.

Bağlam

Model pruning için: [[model-pruning-fazlaligi-kesip-kucultmek]]. AI enerji için: [[ai-enerji-ayak-izi-trilyon-tokenin-cevre-etkisi]]. LoRA için: [[lora-buyuk-modeli-tek-gpu-da-fine-tune-etmek]]. Pre-training verisi için: [[pre-training-veri-llm-in-bilgisinin-tek-kaynagi]]. Dağıtık eğitim için: [[dagitik-egitim-ddp-fsdp-tensor-parallel-modern-llm-altyapisi]].