Volodymyr Mnih: DQN Makalesinin Baş Yazarı ve DeepMind'in RL Ustası

DQN'in arkasındaki mühendis

Modern AI tarihinin dönüm noktalarından biri DQN makalesi (2013). 7 yazar listesi. Birinci: Volodymyr Mnih.

Mnih DeepMind'in kurulduğu ilk yıllarda baş araştırmacılarındandı. DQN onun doktora döneminin çalışmasıydı.

Ukrayna'dan Toronto'ya

Mnih Ukrayna'da doğdu. Toronto Üniversitesi'ne lisans ve doktora için ABD'ye geldi. Geoffrey Hinton'in öğrencisi.

Doktora konusu: derin öğrenme + pekiştirmeli öğrenme. O dönem niş bir alan.

2013'te doktoradan önce DeepMind'a katıldı. DeepMind o tarihte 50 kişilik startup'tı.

DQN — doktora dönemi

Mnih, DQN üzerinde 1.5 yıl çalıştı. Sonuç:

• Aralık 2013: NIPS poster.
• Şubat 2015: Nature makalesi.
• Bu süreçte: Google Mart 2014'te DeepMind'i aldı.

DQN, doktora makalesi olarak modern AI tarihine geçti. Az kişi bu kadar etkili çalışma yapar.

A3C (2016) — paralel RL

DQN sonrası Mnih A3C (Asynchronous Advantage Actor-Critic) algoritmasını yazdı. Birden çok ajan paralel çalışır, bilgiyi paylaşır.

A3C derin RL'i ölçeklendirilebilir yaptı. Atari oyunlarını çok daha hızlı çözdü.

Modern algoritmalar (PPO, IMPALA) bu temele dayanır.

Diğer çalışmalar

Mnih'in DeepMind'daki diğer çalışmaları:

• Recurrent attention models (2014): Erken attention sinir ağı.
• AlphaGo destek: DQN bilgisi AlphaGo'da kullanıldı.
• Distributional RL: Q-değerini tek sayı değil, dağılım olarak öğrenme.

Bu çalışmalar modern derin RL'in akademik temellerinin önemli kısmı.

"Sessiz akademisyen"

Mnih modern AI medyasında yok. Twitter'da yok. Podcast vermez. Akademik konferanslarda da nadir konuşur.

Bu, modern AI'da nadir profil. Catanzaro, Chen, Hu gibi sessiz mühendis kategorisinde.

Bir DeepMind söyleşisinde Mnih:

"Algoritma çalışıyorsa konuşmaya gerek yok. İnsanlar makaleyi okur."

Bu görüş modern AI medyasının söyleminden farklı.

Sade ders

Mnih hikâyesinden iki şey:

1. Doktora dönemi tarih yazabilir. Mnih 25 yaş civarında DQN ile modern AI tarihinin temel taşlarından birini yerleştirdi. Akademik genç enerji önemli.
2. Akademik sessizlik etki kaybı değildir. Mnih kamuoyu önünde yok ama akademik atıfları binlerce. Çalışma konuşur, kişi konuşmasa da.

Bağlam

DQN için: [[dqn-derin-q-network-atari-oyunlarini-cozen-rl-devrimi]]. DeepMind için: [[demis-hassabis-deepmind-in-vizyoner-kurucusu]]. Hinton ile bağlantı: [[geoffrey-hinton-derin-ogrenmenin-babasi-ve-2024-nobel-fizik]]. Modern RL için: [[john-schulman-ppo-nun-mucidi-rlhf-in-mimari]] (PPO). Sutton için: [[rich-sutton-pekistirmeli-ogrenmenin-baba-figuru-ve-bitter-lesson]].