Song Han: MIT'de Model Sıkıştırma ve Verimli AI Baba Figürü

"Modeli küçült, daha çok yere ulaşsın"

Song Han (d. 1986, Çin) — modern verimli AI'in akademik öncüsü. MIT profesörü, NVIDIA Senior Director, MIT HAN Lab kurucusu.

Tek cümle: derin öğrenmeyi küçük cihazlara taşıyan bilim adamı.

Yol

• Tsinghua Üniversitesi (Çin) lisans (2012) — elektronik.
• Stanford doktora (2017) — Bill Dally mentörlüğünde.
• MIT EECS asistan profesör (2017-) sonra associate.
• NVIDIA Research Senior Director (paralel).
• MIT HAN Lab kurucu.

Deep Compression (2016)

Doktora çalışması: modern model sıkıştırma temeli.

Üç adım:

1. Pruning: önemsiz bağlantıları sil.
2. Quantization: 32-bit → 8-bit.
3. Huffman encoding: sıkıştırma.

Sonuç: AlexNet 35x küçük, doğruluk korunuyor.

Best Paper Award (ICLR 2016). Modern verimli AI'in başlangıcı.

EIE (Efficient Inference Engine)

Sıkıştırılmış modeli donanımda verimli çalıştırma.

ISCA 2016 Best Paper Award.

Modern katkılar

MCUNet (2020)

TinyML için NAS: mikrodenetleyicide çalışan model otomatik tasarım.

AWQ (2023)

Activation-aware Weight Quantization: LLM'leri 4-bit'e indir, doğruluk korunur.

SmoothQuant

LLM quantization'in standartı.

LServer, Streaming-LLM, EfficientViT

Çoklu verimli model.

Akademik etki

• 40.000+ Google Scholar atıf.
• MIT Technology Review 35 Under 35 (2019).
• Sloan Fellowship.
• NSF CAREER.
• IEEE Best Paper çok kez.

MIT HAN Lab

Hardware, AI, Neural Networks:

• Verimli AI araştırması.
• Doktora öğrencileri.
• Endüstri ortaklıkları.
• Açık kaynak araçları.

NVIDIA bağlantısı

Paralel olarak NVIDIA Research:

• Senior Director.
• TensorRT-LLM gibi ürünler.
• Akademi + endüstri köprüsü.

Bill Dally (Stanford mentor, NVIDIA chief scientist) ile devam.

Çinli diaspora

Song Han, modern AI'in Çin-Amerikalı isimlerinden:

• Fei-Fei Li (Stanford).
• Tianqi Chen (CMU).
• Song Han (MIT).
• Anima Anandkumar (Caltech).

Tarz

• Akademik + endüstri dengesi.
• Açık kaynak: kod paylaşır.
• Pratik: gerçek donanımda çalışır.
• Çoklu öğrenci mentörlüğü.

Öğrencileri

Song Han laboratuvarından çıkanlar:

• TinyML alanının modern araştırmacıları.
• Apple, NVIDIA, Tesla mühendisleri.

Eğitim

MIT 6.5940 EfficientML dersi (YouTube açık):

• Pruning, quantization, distillation.
• Türk öğrenciler için referans materyal.

Felsefe

Song'un tekrarladığı:

• "Efficient AI is the future".
• "Hardware-software co-design matters".
• "Make AI accessible".

Türkiye için bağlam

• TÜBİTAK BİLGEM: model sıkıştırma araştırması.
• ASELSAN: edge AI deploy.
• Türk üniversiteler: HAN Lab benzeri.
• MIT 6.5940 Türk doktora öğrencilerinin mecburi dersi.

Modern LLM çağında rolü

LLM'ler büyüyor → sıkıştırma kritik:

• AWQ ile Llama 70B → tek GPU.
• SmoothQuant → öğrenme verimi.
• TinyChat → mobil LLM.

Song Han'in çalışmaları doğrudan modern AI deploy'unun temeli.

Genç Türk araştırmacı için ders

Song Han profili:

• Çin'den doktora için ABD.
• Doktora çalışması uzun kariyer.
• Akademi + endüstri ikili rol.
• Açık kaynak + eğitim.

Kapanış

Song Han, modern AI'in verimli olma yanının akademik mimarıdır. Cebinizdeki AI'ın çalışmasının sebeplerinden biri.

Türk genç araştırmacılar için: niş alan + akademi + endüstri üçlüsü güçlü.

LLM'leri ucuza çalıştırmak istiyorsanız Song Han'in araçlarını kullanıyorsunuz demektir.