Percy Liang: Foundation Model Çağının Akademik Düşünürü

Stanford'a giden uzun yol

Percy Liang 1983 doğumlu, Tayvan göçmeni Çinli aile. MIT'de bilgisayar bilimi lisans + master (2004, 2005), Berkeley'de doktora (2011). Doktora danışmanları: Dan Klein (NLP) ve Michael Jordan (istatistiksel ML).

İki dünyalı bir başlangıç: NLP'nin dilbilimsel tarafı + Bayes'in istatistiksel sıkılığı. Doktora tezi: semantic parsing — doğal dil sorgularını formal sorgu dillerine çevirme.

2012'de Stanford'a profesör. Aynı yıl Stanford'da Manning'in NLP grubu, Fei-Fei Li'nin CV grubu vardı; Liang veri programlama ve LLM evaluasyon cephesinde yer aldı.

Snorkel ile veri programlama

Liang'ın 2015-2018 döneminin temel projesi: Snorkel (Alexander Ratner ile birlikte). Tez: etiketli veri pahalı, ama zayıf etiket fonksiyonları ucuz yazılabilir. Bunları birleştirip "olasılıksal etiketler" üret.

Pratikte: bir mühendis 50 satırlık Python ile her belge için "muhtemel etiketi" yaratan fonksiyonlar yazar. Snorkel bunları birleştirir, kalite tartışmasını otomatik yapar.

Snorkel sonradan Snorkel AI girişimine dönüştü. Modern data-centric AI hareketinin önemli kollarından biri.

Foundation Models raporu (2021)

Liang'ın en geniş etkili çalışması Manning ile birlikte yazdığı "On the Opportunities and Risks of Foundation Models" raporu. 200+ sayfa, 100+ yazar.

Bu raporun ana iddiası: GPT-3, BERT, CLIP gibi büyük modeller artık bir paradigma — onlara "foundation model" demek gerek. Bir foundation model:

1. Geniş, çeşitli, etiketsiz veride pre-train.
2. Birçok downstream görev için adapt.
3. Tek tek model ölçeğindeki kalite ile rekabet eder.

Raporun başlığı alanı tanımladı. Bugün "foundation model" terimi standart sözlük öğesi. OpenAI, Anthropic, Google bu terimi kullanır.

CRFM — Center for Research on Foundation Models

Manning ile birlikte 2021'de CRFM (Center for Research on Foundation Models)'i kurdu. Stanford HAI bünyesinde. Hedef: foundation modellerin akademik incelemesi ve risk değerlendirmesi.

CRFM'in çıktıları:

• HELM (Holistic Evaluation of Language Models, 2022): Modern LLM benchmark koleksiyonunun ana referansı.
• Alpaca (2023): GPT-3.5'ten distile edilmiş Llama 7B; "$600'lık ChatGPT" olarak ünlendi.
• Foundation Model Transparency Index: Endüstri şeffaflık değerlendirmesi.

HELM — değerlendirmenin standartlaştırılması

LLM değerlendirmesi 2022'ye kadar karışıktı. Her makale farklı benchmark, farklı versiyonu kullanıyordu. HELM bunu değiştirdi: 30+ benchmark, 7 ölçüt, tüm modeller tutarlı koşullar altında.

Liang'ın katkısı: değerlendirmenin kalite, kalibrasyon, sağlamlık, hakkaniyet, önyargı, verim, çevre etkisi gibi çok boyutlu olması gerektiğinin standartlaştırılması.

Bugün her büyük lab (OpenAI, Google, Anthropic) yeni model duyurusunda HELM benzeri çoklu eksen sunar.

Alpaca — "$600 ChatGPT"

Mart 2023'te CRFM'in Alpaca modeli viral oldu. Önceden eğitilmiş Llama 7B üzerine 52K talimat fine-tuning ile ChatGPT-benzeri davranış. Eğitim maliyeti: $600.

Bu, açık kaynak LLM ekosisteminin patlamasının fitilini ateşledi. Vicuna, Koala, GPT4All, Llama 2 Chat — hepsi Alpaca'nın yolunu izledi.

Yan etkisi: Meta Llama lisansını sıkılaştırdı, Alpaca kapatıldı. Akademik özgürlük ve endüstri çıkarları çelişti.

"Akademinin sesi"

Liang, AI politikası tartışmalarında yer alan az sayıdaki akademik figürlerden biri:

• ABD Beyaz Saray AI strategy danışmanlığı.
• AB AI Act'in akademik tartışmalarında konuşma.
• Senate Judiciary Committee AI hearings (2023).

Tavrı endüstriye karşı dengeli ve eleştirel: "OpenAI ve Anthropic yapay zekânın yönünü belirliyor. Akademinin yetersiz kaynakla bu trendlere yön vermesi gerek."

Sade ders

Liang hikâyesinden iki şey:

1. Terminoloji önemlidir. "Foundation model" kavramsallaştırması alanın nasıl konuşulduğunu değiştirdi. Akademik kavramlar bazen mühendislik kararından önemlidir.
2. Akademik bağımsızlık değerlidir. OpenAI ve Anthropic kapalı modeller geliştirir; HELM gibi bağımsız değerlendirmeler bunları hesap verebilir kılar.

Bağlam

Foundation model kavramı için: [[chris-manning-stanford-nlp-nin-sessiz-mimari]]. LLM değerlendirmesi için: [[perplexity-dil-modeli-degerlendirmesinin-eski-altin-standardi]]. Modern fine-tuning için: [[lora-buyuk-modeli-tek-gpu-da-fine-tune-etmek]], [[dpo-direct-preference-optimization-rlhf-i-sadelestir]]. AI politikası için: [[stuart-russell-ai-guvenligi-nin-akademik-yuzu]].