Christopher Manning: Stanford NLP'nin Sessiz Mimarı

"İstatistiksel NLP'nin ders kitabı"

1999'da Hinrich Schütze ile birlikte yazdığı "Foundations of Statistical Natural Language Processing" kitabı, NLP araştırmacılarının ilk 20 yıllık temel kaynağıydı. 2008'de "Introduction to Information Retrieval" ile Manning, dil işlemenin akademik standartlarını çift olarak belirledi.

Bu iki kitap birlikte alanın doğum belgeleri sayılabilir.

Avustralya → Stanford

1965 doğumlu, Avustralya. Avustralya Ulusal Üniversitesi'nde matematik ve dilbilim çift ana dal (1989). Stanford'da dilbilim doktorası (1995). Bilgisayar bilimi değil — gerçek bir dilbilimci.

Doktorayı tamamlar tamamlamaz Carnegie Mellon'da kısa süre, sonra Avustralya'ya geçici dönüş, ardından 1999'da Stanford'a kalıcı profesör.

Şu an Stanford Linguistics ve Computer Science bölümlerinde ortak profesör; Stanford AI Laboratory (SAIL) direktörü (2018–).

Köprü figür — dilbilim ile ML

NLP'nin tarihinde iki kuşağı vardır:

1. Sembolik kuşak (1960-2000): Dilbilim kuralları, gramerler, sözlükler. Chomsky etkisi büyük.
2. İstatistiksel/derin kuşak (2000-bugün): Veri, olasılık, sinir ağı.

Manning, ikinci kuşağın dilbilim okumuş ender üyelerinden. Bu çift bakış akademik etkisini büyütür: makalelerinde hem matematiksel hem dilsel sezgi var.

GloVe (2014) — kelime gömme

Manning'in en çok atıf alan çalışması: GloVe (Global Vectors for Word Representation). Jeffrey Pennington ve Richard Socher ile birlikte yazıldı.

GloVe, kelimeleri vektörlere çevirir — Word2Vec'in (Mikolov, Google) ana rakibi. Farkı:

• Word2Vec: Yerel bağlam (komşu kelimeler) üzerinden öğrenir; sinir ağı tabanlı.
• GloVe: Eş-oluşum (co-occurrence) matrisini matriks ayrıştırmasıyla çözer; matematiksel olarak daha şeffaf.

İkisi de benzer kalite üretir. GloVe'un cazibesi: basit, açık matematik, hızlı eğitim. 50K+ atıf.

Stanford Dependency Parser

NLP'nin sade ama temel görevi: bir cümlenin sözdizimsel ağacını çıkarmak. Manning'in grubu Stanford Dependency Parser'ı geliştirdi — yıllarca dünya standardı.

2014'te transition-based sinir ağı parser'ını yayımladı (Danqi Chen ile, ilk yazar). Bu Chen'in PhD'sinin başlangıcıydı; sonra Princeton profesörü oldu.

CS224N — kanonik ders

Manning Stanford'da CS224N: Natural Language Processing with Deep Learning dersini verir. YouTube'daki video kayıtları milyonlarca izlenir. Bu ders modern NLP araştırmacılarının çoğunluğunun temel referansıdır — Coursera/edX'tense YouTube'da bedava.

Slaytları, ödevleri, GitHub repo'ları açık. CMU 11-747 ve Berkeley CS288 ile birlikte alanın "üç büyük dersi"nden.

Akademik soyağacı

Manning'in PhD öğrencileri, modern NLP'nin endüstri liderlerini oluşturur:

• Danqi Chen: Princeton profesörü, RAG araştırması.
• Richard Socher: Salesforce Chief Scientist, sonra You.com kurucusu.
• Kelvin Guu: REALM (Google), retrieval öncüsü.
• Abigail See: Pointer-generator networks; Google Search.
• Percy Liang: Stanford profesörü, foundation model çalışmaları.
• Eric H. Huang: OpenAI, GPT-4 ekibi.
• Stephen Mussmann: Active learning, sonra Tesla AI.

Manning'in akademik etkisi makaleleri kadar öğrencileri üzerinden işler.

"İstatistikçi dilbilimci" tavrı

Manning, Hinton-LeCun-Bengio "her şey sinir ağı" coşkusuna karşı mesafeli. Bir 2017 söyleşisinde:

"Sinir ağları matematik problemleri çözer, ama 'dil'i çözmüyor. Dilde yapı vardır — sözdizim, anlambilim, edimsel — bunlar veri ile öğrenilir ama veri yapıdan habersiz değildir."

Bu yaklaşımı şu üç yönde somut:

1. Bağlam içi öğrenme (in-context learning)'in dilbilimsel köklerini araştırır.
2. Probing — modellerin gerçekten neyi öğrendiğini test etme.
3. Belirsizlik — bir LLM tahmin yaparken ne kadar emin?

SAIL liderliği

2018'de Stanford AI Lab'in direktörü oldu. SAIL — McCarthy 1962'de kurmuştur — AI'ın "anavatanlarından". Manning yönetiminde Stanford HAI Enstitüsü (Fei-Fei Li ile birlikte), Foundation Model Center (CRFM) kuruldu.

CRFM, Foundation Models on the Opportunities and Risks raporu (2021) ile büyük dil modellerinin akademik analizini standartlaştırdı. "Foundation model" terimi bu rapordan yaygınlaştı.

Sade ders

Manning hikâyesinden iki şey:

1. Çift uzmanlık değerlidir. Dilbilim + bilgisayar bilimi kombinasyonu yarı yarıya kazandırır; tek alana kapanmak değil, ikisi arasında köprü kurmak büyük etki.
2. Üniversite hocası kanaat önderidir. Manning Stanford CS224N dersi ile binlerce kişiyi etkiledi; ders kitapları ile onbinleri; Twitter/X ile söylem belirledi. Akademik etki tek başına makale değil, çok katmanlı bir altyapıdır.

Bağlam

GloVe ile Word2Vec karşılaştırması için: [[word2vec-kelime-vektorleri]] (varsa). Modern NLP için: [[transformer-attention-is-all-you-need]], [[bpe-byte-pair-encoding-llm-lerin-kelimelere-bakmasi]]. Foundation model terimi için: [[foundation-models-modern-ai-paradigm]] (varsa). Akademik öğrenci ağı için: [[andrew-ng-ai-yi-herkese-acan-adam]], [[fei-fei-li-ai-in-anneannesi]].