Meta-Learning: "Öğrenmeyi Öğrenmenin" Matematiği

"Çocuk hızlı öğrenir"

5 yaşında bir çocuk bir kediyi görür → kedi tanır. Sonra köpek görür → ayırt eder. Bir veya iki örnek yeter.

Klasik makine öğrenmesi: binlerce kedi + binlerce köpek resim gerekir.

Fark: çocuk önceden çok şey öğrendi. Genel öğrenme yeteneği var.

Meta-learning: "öğrenmeyi öğrenmek".

İki seviye

Normal learning

Tek görev: kedi vs köpek sınıflandırma.

Meta-learning

Çoklu görev: görev öğrenmeyi öğren.

• Görev 1: kedi vs köpek.
• Görev 2: araba vs uçak.
• ...
• Görev 1000: yeni canlı vs yeni canlı.

Model yeni göreve hızlı adapte olmayı öğrenir.

Klasik yaklaşımlar

Optimization-based (MAML)

Chelsea Finn 2017.

Sezgi: bir başlangıç parametre $\theta$ bul ki yeni görev için birkaç gradient ile iyi olsun.

$\theta^* = \theta - \alpha \nabla_\theta L_{task}$

Meta-train: bu $\theta$'yı bul.

Metric-based (Siamese, ProtoNets)

Veriyi embedding uzayına projeksiyon → benzerlik ölç.

Her sınıf için prototype (ortalama).
Yeni örnek → en yakın prototype.

Memory-based (Memory Networks)

Geçmiş örnekleri bellekte sakla, yeni örneği eski örneklerle karşılaştır.

Model-based (Meta-Networks)

Hızlı ağırlık güncellemesi öğrenen RNN.

Few-shot learning

Tipik meta-learning değerlendirmesi: N-way K-shot.

• N: sınıf sayısı (örn. 5).
• K: her sınıftan örnek (örn. 1-5).

Modelin "5-way 1-shot" da doğruluğu = az veriyle öğrenme yeteneği.

Modern paradigma değişimi

Klasik

Meta-learning ayrı bir teknik.

Modern (LLM çağı)

In-context learning = meta-learning'in emergent versiyonu.

GPT-3 birkaç örnekten yeni görev öğrenir → MAML yerine modeli büyüt.

Sonuç: meta-learning açıkça yapılmıyor, ama gizliden var.

In-context learning

Örnek 1: pozitif → mutlu
Örnek 2: negatif → üzgün
Örnek 3: pozitif → ?

LLM eğitim olmadan cevap verir → "neşeli".

Bu few-shot learning'in modern hâli.

Robotic learning

Meta-learning robotikte güçlü:

• Few-shot manipulation: bir gösterim → görev.
• Cross-task transfer: bir robot çok görev.
• Sim-to-real adaptation: hızlı kalibre.

Reptile (OpenAI 2018)

MAML'in basit versiyonu:

• Her iterasyon: bir göreve fine-tune.
• Sonra başlangıca doğru itmek.

İkinci dereceden türev yok → hızlı.

Prototypical Networks

Snell et al. 2017:

• Eğitim sırasında her sınıf için prototype öğren.
• Test: yeni örnek → en yakın prototype.

Basit ama etkili.

Matching Networks

Vinyals et al. 2016:

• Attention tabanlı.
• Yeni örnek → "support set" ile attention.

Modern Transformer in-context'in atası.

Modern AI'da rolü

Açık meta-learning

• Robotik fine-tuning.
• Drug discovery.
• Personalization.

Gizli meta-learning

• LLM in-context learning.
• Foundation modeller.

Türkiye için

• Türkçe NLP: az veri için meta-learning değerli.
• Tıbbi AI: hastane bazında adaptasyon.
• Robotik: az gösterimle öğrenme.

Sınırlamalar

• Görev dağılımı: train ve test benzer olmalı.
• Computation: meta-train pahalı.
• Theoretical guarantees: zayıf.
• Negatif transfer: yanlış başlangıç zarar verebilir.

Felsefe

Meta-learning temel mesajı: "Hızlı öğrenmek için önce yavaş öğren".

İnsan zekası benzer: bebek 2 yıl boyunca temel öğrenir, sonra hızlı öğrenir.

Pratik öneriler

Az veri varsa

• Önceden eğitilmiş model fine-tune (basit transfer).
• Meta-learning bunun ötesinde gerekli olabilir.

Çoklu görev

• MAML, ProtoNet.
• LLM in-context.

Production

• Foundation model + minimal fine-tune yaygın.

Kapanış

Meta-learning, makine öğrenmesinin derin sorularından. LLM çağıyla biraz gerçekleşti (in-context learning) ama tam çözüm yok.

Bir AI araştırmacısının olgunluk işareti: yeni problemde transfer + meta-learning + fine-tuning karışımı dengeleyebilmek.

Çocuk gibi hızlı öğrenen AI = AGI'nin bir ölçütü.