Sepp Hochreiter: LSTM'in Mucidi ve Avrupa AI'nın Sessiz Baba Figürü

Master tezi: gradient kayboluyor

1991 Münih Teknik Üniversitesi. Sepp Hochreiter master tezi yazıyor. Konu: rekürrent sinir ağları (RNN) eğitimi neden zor?

Tezde matematiksel olarak ispatladı: derin RNN'lerde gradyan üstel olarak kaybolur veya patlar. Eğitim 5-10 zaman adımından fazlasına gidemez.

Bu, vanishing gradient problemi'nin ilk resmi ispatıdır. 1991. Modern derin öğrenmenin "neden çalışmadığı" sorusunun cevabı.

LSTM (1997)

Master tezi sonra Jürgen Schmidhuber'le doktora yaptı. Birlikte 1997'de Long Short-Term Memory (LSTM) modelini yayımladılar.

Fikir: RNN hücresine gating mekanizması ekle. Gates karar verir:

• Forget gate: Geçmişten neyi unut.
• Input gate: Yeni bilgiyi ne kadar kabul et.
• Output gate: Şu anki durumdan ne kadar göster.

Bu gates, gradient akışını kontrol eder. Vanishing gradient çözüldü. RNN'ler 100+ zaman adımına gidebilir oldu.

"20 yıllık" makale

LSTM makalesi 1997'de yayımlandı. Hemen kabul edilmedi.

İlk 10 yıl: az atıf, marjinal akademik teknik. 2000'lerin başında konuşma tanıma alanında Hinton'un grubu kullanmaya başladı.

2010'da Google Translate LSTM ile çalışan ilk nöral makine çevirisi sistemini kullandı. 2014'te sequence-to-sequence devrimi (Sutskever, Vinyals, Le) — LSTM tabanlı.

2017'ye kadar (transformer dönemi başlayana kadar) LSTM NLP'nin standart mimarisiydi. 20 yıllık gecikme, sonra patlama.

Linz Üniversitesi (2006–)

Hochreiter 2006'da Avusturya'nın Linz şehrindeki Johannes Kepler Üniversitesi'nde Institute for Machine Learning kurdu. Avrupa'nın AI cephesinde bağımsız bir hat.

Linz Lab'in çalışmaları:

• GAN için spectral normalization.
• Hopfield Networks is All You Need (2020): Modern Hopfield ağlarının ve transformer'la benzerliklerinin matematiksel tartışması.
• xLSTM (2024): LSTM'in modern güncel versiyonu — transformer'a alternatif olarak.

xLSTM özellikle 2024-2025'te ilgi çekti. Mamba'nın yanında Avrupa'nın transformer alternatifi.

Hopfield Networks

Hochreiter ve ekibinin 2020'deki "Hopfield Networks is All You Need" makalesi şaşırtıcı: 1982 Hopfield ağları ile modern transformer'ın matematiksel olarak yakın olduğunu gösterdi.

Bu derin teorik bağlantı modern AI'ın eski fikirlerin yeni güçlü hesapla canlandığı bir örneği. Boltzmann makinesi → Hinton'un derin öğrenmesi paralel hikâyesi.

"Avrupa AI" tartışması

Hochreiter, Avrupa AI ekosisteminin görünür temsilcilerinden biri. ABD ve Çin'in AI yatırımları muazzam, Avrupa geride. Hochreiter bu konuda eleştirel:

"Avrupa'nın AI alanında geride kalmasının sebebi para değil, bürokrasi. AB AI Act gibi düzenlemeler önce inovasyonu engelliyor, sonra pazarı kaybediyoruz."

Bu görüş Avrupa akademik çevrelerinde bölücü. Bazıları katılıyor, bazıları AB regulasyonunun gerekli olduğunu savunuyor.

"Tanınmadık" Turing ödüllüsü

2018'de Hinton, LeCun ve Bengio Turing Ödülü'nü aldı — "derin öğrenmenin babaları" olarak. Pek çok eleştirmen Hochreiter (ve Schmidhuber) eksik olduğunu söyledi.

LSTM 1997 tarihiyle Hinton'un derin öğrenme çalışmalarından önce. Gradient vanishing ispatı 1991. Bu temel katkılar resmi tanınmadı.

Hochreiter bunun hakkında konuşmaktan kaçınmadı:

"Akademik tanınma siyasidir. Kanıtlanmış fikir önemli değil, kim onu hangi platformda anlatabiliyor önemli."

Sade ders

Hochreiter hikâyesinden iki şey:

1. Önemli fikir hemen tanınmaz. LSTM 1997'de yayımlandı, 2014'te endüstriye geçti. 17 yıllık gecikme. Modern hızlı çağda bile büyük fikirler zaman alır.
2. Coğrafya akademik etkide rol oynar. Hochreiter Avusturya'da çalıştı. Aynı yetenek Stanford'da olsa farklı tanınmış olurdu. Akademik dünyada konum etkili.

Bağlam

LSTM ve RNN için: [[rnn-ve-lstm-zamanin-icinde-ogrenen-sinir-aglari]]. Schmidhuber için: [[jurgen-schmidhuber-derin-ogrenmenin-cocugu]] (varsa). Modern alternatifler için: [[mamba-transformer-a-meydan-okuyan-uzun-bagimli-model]]. Avrupa AI ekosistemi için: [[mistral-ai-avrupa-nin-open-source-cevabı]] (varsa). Hopfield için: [[john-hopfield-fizigin-sinir-aglarina-katkilari]] (varsa).