Jürgen Schmidhuber: Derin Öğrenmenin Tartışmalı Alman-İsviçreli Babası

"Ben söyledim, başkaları krediyi aldı"

Jürgen Schmidhuber (1963-) — modern derin öğrenmenin tartışmalı tarihinin merkez figürü.

Erken yaşam

• Doğum: 17 Ocak 1963, Münih.
• Aile: Akademik aile.
• Eğitim:
  • TU München (1987 diplom, 1991 PhD): bilgisayar bilimi.
  • Doktora konusu: dinamik sinir ağları öğrenmesi.

Akademik kariyer

• TU München (1991-2008).
• IDSIA (Istituto Dalle Molle di Studi sull'Intelligenza Artificiale, Lugano, İsviçre, 1995-): direktör.
• Università della Svizzera italiana (USI) + SUPSI: profesör.
• KAUST (Suudi Arabistan, 2021-): direktör.

Erken katkılar (1990-2000)

Unsupervised pretraining (1991)

Tezi: derin sinir ağı için adım adım önceden eğitme. 2006'da Hinton bu yöntemi popülerleştirdi. Schmidhuber önce yaptığını söylüyor.

LSTM (1997)

Sepp Hochreiter ile birlikte. Schmidhuber'in doktora öğrencisiydi Hochreiter.

LSTM 1997-2017 arası konuşma tanıma, çeviri, müzik standardı.

Reinforcement learning

1991-95: erken RL araştırmaları.

Meta-learning

"Öğrenmeyi öğrenme" — modern AGI araştırmasının önemli bir alanı.

"Ben yaptım" iddiaları

Schmidhuber defalarca modern derin öğrenme kavramlarının kökenlerini iddia etti:

• GAN (Goodfellow 2014) — Schmidhuber: "Ben 1990'da bunu yazdım."
• Attention (2014-17) — Schmidhuber: "Ben 1990'da..."
• Transformer (2017) — Schmidhuber: "Ben 1991'de..."
• Residual connections (ResNet) — "Ben önce..."

Tartışma: bazıları doğru (Schmidhuber'in eski makaleleri benzer fikirler içeriyor); bazıları yorum.

Hinton-Schmidhuber çekişmesi

Geoffrey Hinton ile uzun akademik husumet. 2014 NeurIPS'te Hinton'un konuşmasında Schmidhuber sürekli müdahale etti — "Bu benim eski çalışmamda var!"

Akademik dünya ikiye bölündü:

• Bir tarafta: "Schmidhuber haklı, krediyi alamadı."
• Diğer tarafta: "Schmidhuber sürekli kavramların kökenini iddia ediyor."

IDSIA Lugano

1995'ten beri direktör. Avrupa AI araştırmasının önemli merkezlerinden.

Öğrenciler ve postdoclar:

• Sepp Hochreiter (LSTM).
• Alex Graves (DeepMind, AlphaGo katkısı).
• Ilya Sutskever kısa süreli misafir (sonra OpenAI kurucu ortağı).

Diğer projeleri

Gödel Machine

Kendi kodunu güncelleyen AI — felsefi ilginç.

Neural Turing Machines

Bellek ekli sinir ağı (DeepMind 2014'te bağımsız yayımladı; Schmidhuber'e göre kendi 90'lı yıllar fikrinin uzantısı).

AGI vizyonu

Yapay Genel Zeka üzerine sıkça konuşur. Optimist görüş.

Eksantriklik

Schmidhuber:

• Twitter ve sosyal medyada aktif eleştirmen.
• Kendi adına AI projeleri ile çekişme.
• Konferanslarda drama.
• Avrupa AI başarısızlığı üzerine eleştirel.

Politik görüşler

Modern AI risk tartışmasında ılımlı:

• AI tehlikesi var ama abartılı değil.
• Avrupa'nın AI yarışında geride kalması üzücü.
• Açık kaynak destekçisi.

Suudi Arabistan dönemi

2021'de KAUST (King Abdullah University of Science and Technology) direktörü. Avrupa AI fonlamasından memnun olmadığı için.

Eleştiriler: bazı akademisyenler Suudi rejimine akademik destek vermenin etiğini sorguladı.

Ödüller

• IEEE Neural Networks Pioneer Award (2013).
• Helmholtz Award (2013).
• ACM-W Athena Lecturer: kabul etmedi.

Turing Ödülü 2018 Hinton-Bengio-LeCun'a verildi; Schmidhuber dahil edilmedi. Bu, tartışmanın en bilinen bölümü.

Mirası

• LSTM (1997): 20 yıllık derin öğrenme standardı.
• Erken kavramsal katkılar: önemli pek çok modern AI fikrini önceden önerdi.
• IDSIA Lugano: Avrupa AI araştırma merkezi.
• Tartışmalı tarih: kredi tartışmalarının merkez figürü.

Modern AI tarihinin dramatik bölümlerinden birinin kahramanı. Kendisi: "Tarih beni doğrulayacak."

Modern AI öğrencisi LSTM'i çalışırken Schmidhuber'in adı geçer. Tartışmanın detayları önemli — ama 1997 LSTM yazısı tartışmasız onun.

"Bilim adına dürüst tarih." Schmidhuber'in paradigması.