Albert Gu: Mamba'nın Mucidi, State Space Modelinin Akademik Yüzü

"Transformer'a alternatif" söyleyen kişi

Albert Gu — modern AI'da Transformer'ın hegemonyasına ciddi bir teknik meydan okuma getiren Mamba mimarisinin baş yazarı. CMU'da yardımcı profesör.

Tek cümle: state space modelin modern derin öğrenmedeki yüzü.

Yol

• Cambridge (CS lisans).
• Stanford doktora (Christopher Ré danışmanlığında) — efficient algorithms for sequence modeling.
• 2021: S4 (Structured State Space) — uzun bağlam için ilk büyük SSM atılımı.
• 2023: Mamba (Tri Dao ile) — selective state space.
• 2023–: CMU yardımcı profesörü.
• 2024–: Cartesia AI — Mamba'yı ürünleştiren startup.

State Space Models nedir?

Klasik kontrol teorisinden: bir sistem gizli durum ($h_t$) ile evrim geçirir.

$h_t = A\,h_{t-1} + B\,x_t$
$y_t = C\,h_t$

Bu sürekli sürümün ayrık halidir. Tıpkı RNN — ama matrisler çok dikkatli yapılandırılmış (HiPPO teorisi).

S4'ün katkısı

Sade RNN uzun bağlamda yetersiz; Transformer ise $O(L^2)$. S4:

• Doğrusal zaman: $O(L)$.
• HiPPO matrisleri: matematik olarak garantili "geçmişi hatırla" özelliği.
• Eğitimde convolution gibi paralel, çıkarımda RNN gibi sıralı.

Long Range Arena benchmark'ında 2021'de Transformer'ı ezdi.

Mamba (2023)

Yenilik: SSM matrisleri girdiye bağlı olsun. Yani $A, B$ artık $x_t$'ye göre değişiyor.

Sonuç: model selective — hangi bilgiyi tutup hangisini atacağına karar veriyor.

Avantajlar:

• Doğrusal zaman uzun bağlamda.
• Düşük bellek: kV-cache yok.
• Bazı görevlerde Transformer ile eşit ya da üstün.

Sınırlamalar:

• In-context learning bazı görevlerde Transformer kadar güçlü değil.
• Tekrarlanan örüntülerde zayıflıklar.
• Üretim odaklı tooling henüz Transformer ekosistemi kadar olgun değil.

Mamba-2 (2024)

Çıkış: State Space Duality (SSD) — SSM'ler ve attention arasında matematik eşdeğerlik. Model donanım dostu, hâlâ doğrusal zaman.

Tarz

• Sade ve odaklı makaleler — uzun ama anlaşılır.
• Açık kaynak: Mamba kodu Day 1'de yayınlandı.
• Akademi + endüstri köprüsü: CMU dersleri + Cartesia ürünü.

Etki

• 2023-2024'te tüm büyük labların SSM'yi araştırmaya mecbur kalması.
• "Tek mimari yok" söyleminin güçlenmesi.
• DNA modelleme (Caduceus), zaman serileri, ses üretimi gibi alanlarda SSM ilk seçim.

Tartışmalar

• Mamba gerçekten Transformer'ı geçecek mi? — Henüz büyük labların ana modeli değil.
• Hybrid mimariler (Jamba, Zamba) Mamba ile Transformer'ı karıştırıyor.
• Karpathy'nin sözü: "Geleceğin mimarisi muhtemelen pür SSM ya da pür attention değil — karışım".

Kapanış

Albert Gu, bir mimaride direnen araştırmacının iyi örneği: yıllarca SSM üzerinde çalıştı, kimse ciddiye almazken bile devam etti, sonunda Mamba ile büyük etki yaptı. AI mimarisinde çoğulluk mümkün — Albert bunu kanıtlayan kişilerden biri.