Curriculum Learning: Çocuk Gibi AI'ı Eğitmek

"Çocuğa nasıl matematik öğretirsin?"

Önce:

• Sayma (1, 2, 3...).
• Sonra toplama.
• Sonra çıkarma.
• Sonra çarpma.
• Sonra cebir.

Her adım önceki üzerine kurulu. Müfredat (curriculum).

Modern AI eğitiminin önemli sorularından biri: bu insan müfredatından AI eğitimi için ders alabilir mi?

Cevap: Evet. Buna curriculum learning denir.

Akademik temeli (Bengio 2009)

Yoshua Bengio ve ark. 2009'da "Curriculum Learning" makalesini yayımladı. Tez:

"Modeli kolay örneklerle eğitmeye başla. Sonra zor örneklere geç. Bu, optimizasyon daha kolay yapar ve performansı artırır."

Bu klasik akademik makale modern AI'da yeniden önem kazanıyor.

Nasıl çalışır

Algoritmik olarak:

1. Veri setini zorluk açısından sırala.
2. Önce kolay örneklerle eğit.
3. Kademeli olarak zor örnekleri ekle.
4. Sonunda tüm veri ile eğit.

Zorluk ölçümü:

• Manuel: İnsan etiketleyici işaretler.
• Model bazlı: Modelin kayıp değerine göre.
• Heuristik: Kısa cümle = kolay, vb.

Pratik etki

Curriculum learning faydaları:

1. Daha hızlı yakınsama: Eğitim zaman tasarrufu.
2. Daha iyi performans: Bazı görevlerde %5-15 iyileşme.
3. Daha kararlı eğitim: Vanishing/exploding gradient azalır.
4. Daha az veri gerek: Aynı performans daha az örnekle.

Modern LLM eğitiminde standart pratik.

Modern uygulamalar

LLM pre-training

Llama 3: Eğitim aşamaları:

• İlk: Common Crawl (genel).
• Sonra: Kitap, makaleler (yüksek kalite).
• Son: Kod, matematik (özel).

Bu kademeli yaklaşım curriculum learning örneği.

Code AI

Codex, CodeLlama: Kolay scriptlerden karmaşık projelere.

Matematik AI

AlphaProof: Lise düzeyi → IMO düzeyi.

Robotik

Simülasyon → gerçek dünya geçiş.

"Anti-curriculum" tartışması

İlginç keşif: bazen zor örnekleri önce vermek daha iyi. Buna anti-curriculum denir.

Sebep: model dengelenmemiş veriye dayanıklı olmayı öğrenir. Genel performansta iyileşme.

Modern eğitim karma kullanır:

• Bazı görevler için curriculum.
• Bazı için anti-curriculum.
• Bazı için karışık.

Hard example mining

Modern varyasyon: hard example mining. Modelin en zor bulduğu örnekleri sık göster.

Sebep: kolay örnekler boşa hesap. Zor örnekler öğrenmenin merkezi.

Bu yaklaşım modern active learning ile birleşir.

Sentetik curriculum

Self-Instruct, Evol-Instruct: AI kendi müfredatını üretir. Modelin şu anki kapasitesine göre zor örnekler üretir.

Bu, adaptive curriculum. Modern instruction tuning paradigması.

Sade ders

Curriculum learning hikâyesinden iki şey:

1. AI eğitimi insan eğitimine benzer. Müfredat, kademeli zorluk, tekrar — hepsi modern AI'da işe yarar. Pedagoji + AI birleşimi değerli.
2. Optimum sıra bağımsız değildir. Bazı görevler için kolay→zor, bazı için anti, bazı için karma. Modern AI eğitimi sanat.

Bağlam

Bengio için: [[yoshua-bengio-derin-ogrenmenin-uc-buyuklerinden]] (varsa). Self-Instruct için: [[self-instruct-modelin-kendi-egitim-verisini-uretmesi]]. Pre-training verisi için: [[pre-training-veri-llm-in-bilgisinin-tek-kaynagi]]. AlphaProof için: [[alphaproof-ai-matematik-olimpiyatinda-gumus-madalyaya]]. Sutton ve RL için: [[rich-sutton-pekistirmeli-ogrenmenin-baba-figuru-ve-bitter-lesson]].