Lion Optimizer: Google'ın EvoSearch ile Bulduğu Yeni Nesil

"Optimizer'ı evrim bulsun"

Klasik optimizer'lar insan tasarımı:

• Adam, AdamW, Lamb, etc.
• Sezgi ile.
• Matematiksel motivasyon.

Google 2023 sorudu: bilgisayar bulabilir mi?

Sonuç: Lion (EvoLved Sign Momentum).

EvoSearch

Google ekibi (Chen et al.):

• Optimizer'ı program olarak temsil et.
• Tüm olası varyasyonları evrimsel arama.
• En iyi performansı seç.

4000 GPU saat tarama → Lion keşfedildi.

Lion algoritması

m_t = β₁ * m_{t-1} + (1 - β₁) * g_t
update = sign(β₂ * m_{t-1} + (1 - β₂) * g_t)
θ_{t+1} = θ_t - lr * (update + λ * θ_t)

Kritik fark: sign kullanır. Adam'da kareler kökü var, Lion'da sadece işaret.

Adam vs Lion

	Adam/AdamW	Lion
State	2 (momentum + variance)	1 (sadece momentum)
Bellek	8 byte/param	4 byte/param
Update	$\frac{m}{\sqrt{v}+\epsilon}$	$\text{sign}(m)$
LR	$\sim$1e-4	$\sim$3e-4 (3x küçük)

Lion yarı bellek.

Performans

Google'ın kıyaslamaları:

• ImageNet: Lion AdamW'a yakın veya iyi.
• LLM eğitimi: çoğu zaman eşit.
• Üretim: daha az bellek = daha büyük batch.

Pratik kullanım

from lion_pytorch import Lion

optimizer = Lion(
    model.parameters(),
    lr=1e-4,
    weight_decay=1e-2,
    betas=(0.9, 0.99)
)

PyTorch için resmi olmayan ama yaygın.

Avantajlar

• Bellek: 50% daha az.
• Hız: aynı veya hafif daha hızlı.
• Production: büyük model için iyi.

Sınırlamalar

• LR ayarlanması: AdamW'dan 3-10x küçük.
• Yeni: production deneyim sınırlı.
• Bazı görevler: AdamW hâlâ kazanır.

Modern kullanım

Stability AI

SD 3 eğitimi.

Bazı LLM'ler

Llama varyantları (resmi olmayan).

Diğer

Açık kaynak repoları.

Sophia (Stanford)

Lion ile benzer dönemde:

• İkinci dereceden bilgi.
• LLM ön-eğitim için tasarlandı.
• 2x hız iddiası (sınırlı doğrulanmış).

Muon (2024)

Newton-Schulz tabanlı:

• Çok yeni.
• Tek görevde deneme aşaması.

Evrimsel optimizer arama

Modern AI:

• NAS (neural architecture).
• Evolutionary optimizer search.
• Bilgisayar tasarımı insan tasarımını geçer.

Felsefe

Lion temel mesajı: "Insan tasarımı her zaman optimal değil".

Bilgisayar arama bulduğu bazen insan sezgisinden iyi.

Türkçe için

• Türk AI startupları: Lion deneyimi.
• Üniversiteler: araştırma çalışmaları.
• TÜBİTAK projeleri.

Pratik tavsiyeler

Yeni proje

• AdamW ile başla (stabil).
• Lion dene (50% bellek tasarrufu).
• A/B karşılaştır.

Büyük model

• Lion bellek için iyi.
• LR'yi 3x küçük tut.

LLM eğitim

• AdamW hâlâ güvenli.
• Lion ile deneme yapılabilir.

Kapanış

Lion optimizer, bilgisayar tasarımının insan tasarımına alternatif olabileceğini gösteriyor. AdamW hâlâ standart ama Lion gerçek alternatif.

Bir AI mühendisinin olgunluk işareti: yeni optimizer'ları denemekten korkmamak.

Optimizer tarihinde belki AdamW sonrası dönemin başlangıcı.