Neural Architecture Search (NAS): Mimari Tasarımın Otomatikleşmesi

"Hangi mimari en iyi?"

Sinir ağı tasarlamak deneyim işidir:

• Kaç katman? 6? 50? 1000?
• Convolution mu, attention mı?
• Skip connection nereye?
• Hidden size kaç?

Yıllarca insanlar bu kararları denemeyanılma ile aldı.

Neural Architecture Search (NAS): bilgisayar bu kararları otomatik alır.

Üç bileşen

1. Search Space

Hangi mimari olasılıklar?

• Hücre tabanlı: tek bir hücre tasarla, tekrarla.
• Macro arama: tüm ağ.
• Operatör havuzu: 3x3 conv, 5x5 conv, max pool, identity, vs.

2. Search Strategy

Nasıl arayalım?

• Random search: rastgele dene.
• Evolutionary: en iyileri çoğalt, mutasyona uğrat.
• Reinforcement learning: bir RL ajanı mimari "yazar", ödül = doğruluk.
• Gradient-based: süreklı bir arama uzayında türev al.

3. Performance Estimation

Bir mimariyi değerlendir — pahalı.

• Tam eğit (yavaş).
• Erken durdur (Hyperband).
• Performance predictor.
• Weight sharing (DARTS).

Tarih

NASNet (Zoph & Le, 2017)

İlk büyük NAS makalesi. Google Brain.

• RL ile mimari arar.
• 800 GPU × 28 gün — bir mimariyi bulmak.
• ImageNet'te yeni rekor.

Sorun: çok pahalı.

ENAS (2018, Pham et al.)

Efficient NAS — weight sharing.

• Alt-mimariler aynı ağırlıkları paylaşır.
• 1000x hızlı.

DARTS (2019, Liu et al.)

Differentiable Architecture Search — gradient-based.

• Süreklı arama uzayı.
• Backprop ile mimariyi öğren.
• Tek GPU'da 1-3 gün.

Modern NAS'ın baskın yaklaşımı.

EfficientNet (Tan & Le, 2019)

NAS + ölçeklendirme. Aynı parametreyle daha iyi doğruluk.

MobileNetV3 (2019)

NAS ile bulunan mobil ağ. Android telefonlarda kullanılıyor.

NAS for Hardware

Hedef cihaz (GPU, TPU, EdgeTPU) için özel ağ. Latency-aware NAS.

Pratik uygulamalar

• Görüntü sınıflandırma: EfficientNet ailesi.
• Mobile: MobileNetV3.
• Edge: TinyNAS.
• Önerme sistemleri: AutoFeature, AutoModel.
• NLP: AutoBERT, NAS-BERT.

NAS-Bench

Reprodüksiyon sorunu: NAS çok pahalı, herkes aynı şeyi denemiyor.

Çözüm: NAS-Bench-101, 201, 301 — önceden eğitilmiş mimari koleksiyonu. Araştırmacılar arama algoritmalarını karşılaştırabilir.

Frank Hutter'in büyük katkısı.

Modern eleştiriler

"NAS-eval is flawed"

2020 makalesi: pek çok NAS algoritması gerçekte rastgele aramadan iyi değil.

Sebep: kötü baselines, yetersiz reprodüksiyon, hyperparameter karışıklığı.

Çevresel maliyet

İlk NASNet eğitimi 284 ton CO2 üretti — 3 ABD vatandaşının yıllık emisyonu.

Strubell et al. 2019: AI'nın enerji ayak izine dikkat.

LLM çağında NAS

GPT-4 gibi modellerde mimari sabit (transformer + MoE). Ama:

• Layer count, head count seçimi yapılır.
• Position embedding (RoPE, ALiBi) seçimi.
• Activation (GELU, SwiGLU).
• Normalization (LayerNorm, RMSNorm).

Bunlar küçük ölçekli NAS.

Türkiye uygulamaları

• Aselsan: edge AI için MobileNetV3 türevi.
• Türk Telekom: ürün için TinyNAS arama.
• Boğaziçi NAS-Bench'i Türk doktora tezlerinde.

Sınırlamalar

• Compute: hâlâ pahalı.
• Genelleme: bir veri seti için bulunan mimari diğerinde işe yaramayabilir.
• Aşırı uyum: arama setine.
• İnsan yaratıcılığı eksik: NAS mevcut operatörleri birleştirir; yeni bir yapı icat etmez.

Felsefe

NAS'ın altında: "Bilgisayar sadece veri değil, mimari de seçebilir" vizyonu.

Daha derin: meta-learning — öğrenmeyi öğrenmek.

Kapanış

NAS, AI tasarımının otomatikleşmesi yolculuğunun önemli bir adımı. EfficientNet ve MobileNetV3 production'a girdi. Ama hâlâ pahalı, eleştirilen, gelişen bir alan.

İnsanın yaratıcılığı + NAS'ın sistematikliği ideal birleşim. Modern derin öğrenmenin sırlarından biri.