Tatsunori Hashimoto: Stanford'da LLM'ler için İstatistiksel Perspektif

Stanford'un yeni nesil sesleri

Tatsunori (Tatsu) Hashimoto Japon-Amerikan akademisyen. MIT'de doktora (2016). Sonra Stanford profesörü (2020–). Stanford CRFM ekibinin önemli üyelerinden.

Yaşı ortalama (40'ların başı), ama akademik üretkenliği yüksek. Modern LLM araştırmasının istatistik kanadının temsilcilerinden.

Akademik kökenler

Stanford lisans (2010), MIT doktora (2016). MIT'de Tommi Jaakkola'nın öğrencisi — Michael Jordan ekolünün uzantısı.

Doktora konusu: olasılıksal makine öğrenmesi, model uyumlu çıkarım. Klasik istatistik temeli.

Stanford'a (2020)

2020'de Stanford bilgisayar bilimi profesörü oldu. Aynı zamanda Statistics departmanında ortak. Bu çift-bölüm profil onun istatistik + ML kimliğini yansıtır.

Hashimoto araştırması üç odak:

1. Modelin kalitesi ve değerlendirmesi.
2. Veri seçimi ve müfredat öğrenmesi.
3. LLM hizalama ve dürüstlük.

Alpaca (2023) — büyük etki

Mart 2023'te Stanford CRFM'den Alpaca modelini yayımladı. Hashimoto baş yazarlardan.

Tez: Llama 7B + 52K talimat verisi (GPT-3.5'den distile) = $600'lık ChatGPT.

Bu açık kaynak LLM ekosisteminin patlamasını başlattı. Vicuna, Koala, Llama 2 Chat — hepsi Alpaca yolundan.

Etki büyük: Meta Llama lisansını sıkılaştırdı, Alpaca kapatıldı.

Diğer çalışmalar

Hashimoto'nun diğer önemli makaleleri:

• "Self-Instruct" (2022, ortak): Modelin kendi instruction verisini üretmesi.
• "Inverse scaling" (2022, ortak): Bazı görevlerde büyük modellerin daha kötü olduğu.
• "Selection-Inference" (2023): Reasoning için seçim + çıkarım ayrıştırması.
• "Trustworthy LLMs" (2023): Halüsinasyon ve dürüstlük.

Bu makaleler modern LLM araştırmasının ana referansları arasında.

"İstatistikçi gözü"

Hashimoto'nun yaklaşımı modern AI'da nadir: istatistiksel olarak titiz. Modeli sadece "iyi mi" diye değerlendirmez; niye çalıştığının istatistik temellerini arar.

Bir 2024 söyleşisinde:

"Modern AI çoğunlukla 'çalıştı, niye sormayalım' tutumunda. İstatistik geleneği farklıdır — niçinleri ararız. Bu yavaş ama derin."

Bu görüş Trevor Hastie ve Michael Jordan'a paralel — Stanford istatistik okulunun modern ML çerçevesinde devamı.

CRFM ortaklığı

Hashimoto, Percy Liang ve Chris Manning ile birlikte CRFM (Center for Research on Foundation Models)'de aktif. Üçü Stanford'daki modern LLM araştırmasının akademik baş figürleri.

CRFM'in HELM benchmark'ında Hashimoto'nun istatistiksel katkıları belirgin: nasıl ölçeriz, ne anlama gelir?

"Açık akademik söylem"

Hashimoto Twitter'da aktif. Sade, akademik, dürüst. Modeller hakkında abartılı söylem yok. Skeptisist ama yapıcı.

Bu, modern AI medyasının coşkulu söyleminin akademik dengesi.

Sade ders

Hashimoto hikâyesinden iki şey:

1. İstatistiksel titizlik modern AI'da nadir ama gerekli. Çoğu mühendis "çalışıyor, yeter" der. İstatistikçiler "niye çalışıyor, ne zaman çalışmıyor?" diye sorar. Modern AI'ın bilim hâline gelmesi için bu sorulardan geçmek gerek.
2. Alpaca tek başına bir paradigma. $600'a ChatGPT seviyesi davranış. Bu, modern AI'ın demokratikleşmesinin başlangıç noktasıdır.

Bağlam

Stanford CRFM için: [[percy-liang-foundation-models-uzerine-akademik-dushe]], [[chris-manning-stanford-nlp-nin-sessiz-mimari]]. İstatistiksel ML için: [[trevor-hastie-stanford-statistik-okulunun-uzun-ses]], [[michael-i-jordan-makine-ogrenmesinin-istatistikci-baba-figuru]]. Alpaca ve Llama için: [[lora-buyuk-modeli-tek-gpu-da-fine-tune-etmek]]. Modern LLM değerlendirmesi için: [[mmlu-modern-llm-degerlendirmesinin-altin-standardi]].