Trevor Hastie: Stanford İstatistik Okulunun Uzun Sesi

Ulusal hizmet borcuyla başlamak

1953 Güney Afrika doğumlu. Rhodes Üniversitesi'nde matematik (1976), Cape Town Üniversitesi'nde istatistik master (1979). Apartheid dönemi Güney Afrika'sında zorunlu askerlik bekleyen bir akademisyen.

1981'de Bell Laboratories'a Tukey'nin daveti ile gitti. Bell Labs o yıllarda istatistiğin altın merkezlerinden biri — John Chambers (S programlama dili), William Cleveland (görselleştirme), Hastie burada John Tukey'nin son öğrencilerinden biri oldu.

Doktorayı 1984'te Stanford'da Werner Stuetzle danışmanlığında tamamladı. Bell Labs'ta 8 yıl daha araştırmacı olarak kaldı, sonra 1994'te Stanford'a profesör olarak döndü. Bugün hâlâ orada.

"Elements of Statistical Learning" (2001)

Robert Tibshirani ve Jerome Friedman ile birlikte yazdığı kitap. Modern ML literatürünün kanonik referansı sayılır. 750 sayfa. İçerik:

• Lineer regresyon ve kategorize edici
• Çekirdek yöntemleri
• Sinir ağları (kısa)
• Boosting ve random forest
• Yapay sinir ağı
• Yüksek boyutlu istatistik

2009'da 2. baskı. Random forest, boosting'in derinleştirilmiş hâli. PDF ücretsiz. Stanford istatistik bölümünün ölümsüz başvuru kaynağı.

ISL — kolay versiyon (2013)

ESL fazla matematiksel ağır — istatistik doktora seviyesi gerek. Hastie, Tibshirani, James ve Witten 2013'te "Introduction to Statistical Learning" ile R için lisans seviyesinde versiyonu yayımladılar. 2021'de Python sürümü çıktı.

Bu kitap bugünkü "data science" hareketinin başucu kitabı. Ücretsiz PDF. Kaggle yarışmacılarının %80'i bu kitaptan geçer.

GAM — Genelleştirilmiş Toplamsal Model

Hastie'nin doktora dönemi katkısı: Generalized Additive Models (GAM), 1986'da Tibshirani ile birlikte. Klasik regresyondan farkı:

$$y = \beta_0 + f_1(x_1) + f_2(x_2) + \cdots + f_p(x_p) + \epsilon$$

Her $f_j$ değişkenin kendi düzgün eğrisi — lineer olmak zorunda değil. Yorumlanabilir + esnek. R'ın mgcv paketi bugün hâlâ standart.

GAM ekonometri, epidemiyoloji ve ekoloji uygulamalarının vazgeçilmezi. Modern makine öğrenmesinin "yorumlanabilir ML" kampının kanonik üyesi.

Lasso ile bağlantı

Tibshirani 1996'da lasso regression'ı önerdi. Hastie 2003'te Efron ve ark. ile birlikte LARS algoritmasını geliştirdi — lasso'yu hesaplama verimli yöntemle hesaplama. Modern sparse regression'ın temel algoritması.

Sonra glmnet paketi (2010, Hastie + Friedman + Tibshirani): R'da en çok kullanılan istatistik yazılımı paketlerinden biri. Yıllık 10M+ indirme.

Stanford istatistiğinin üçlüsü

Hastie + Tibshirani + Friedman, Stanford'un istatistik bölümünde 40 yıl boyunca birlikte çalıştı. Akademik soyağaçları iç içe geçmiş. Öğrencileri:

• Daniela Witten: ISL ortak yazarı, Washington Üniversitesi.
• Gareth James: ISL ortak yazarı, USC.
• Bradley Efron: Stanford emekli, bootstrap'in mucidi (Hastie'nin yakın çalışma arkadaşı).
• Susan Athey: Ekonometri, Stanford.

Bu küme "Stanford İstatistik Okulu" olarak adlandırılır. Akademik ML'in dilbilimsel-olmayan, istatistik temelli üyesidir.

Derin öğrenme tartışmasında

Hastie 2018'de bir konuşmada şunu söyledi:

"Derin öğrenme çok güçlü ama 'istatistik' değil — biz hipotez testi yaparız, onlar test seti minimumu arar. Aynı amaca farklı yollardan gidiyoruz."

Daha sonra "Lecturing on Deep Learning" (2019) makalesi: derin öğrenmeyi nasıl istatistiksel çerçevede öğretebileceğine dair pratik öneriler. Dropout = bagging, batch norm = whitening — istatistikçi bakışı.

Bu sentez yaklaşımı Manning'in dilbilim-NLP köprüsüne benzer. İki gelenek arasında köprü kurma.

R ekosisteminin sponsorluğu

Hastie 1990'lardan beri R'ın yayılmasının destekçisi. mda, glmnet, gbm gibi temel paketlerin yazarı. R'ın akademik dünyada Python'dan önce ML standardı olması büyük ölçüde Stanford'lu istatistikçilerin ekosisteminin sonucu.

2020 sonrası Python'un yükselişine adapte oldu: ISL'in Python sürümü, glmnet-python taşımaları. Akademiyi takip eden, uyumlu pragmatist.

Sade ders

Hastie hikâyesinden iki şey:

1. İstatistik ile ML aynı amaca farklı yollardan gider. Hastie'nin tüm kariyeri bu iki dünyanın köprüsünü güçlendirmek üzerine.
2. Ücretsiz ders kitabı en büyük etkidir. ESL ve ISL'in ücretsiz PDF olarak yayımlanması, bir kuşak data scientist'in eğitimine sermaye girişi yapmadan kapı açtı.

Bağlam

İstatistiksel ML için: [[michael-i-jordan-makine-ogrenmesinin-istatistikci-baba-figuru]]. Boosting ve random forest için: [[boosting-vs-bagging-ensemble]] (varsa). Lasso ve sparse regression için: [[lasso-regression-sparse-modelleme]] (varsa). R vs Python akademide: [[andrew-ng-ai-yi-herkese-acan-adam]] (ML kütüphaneleri tartışması).