Tomas Mikolov: Word2Vec'in Mucidi, Modern NLP'nin Çek Babası

Modern NLP'nin sessiz devrimcisi

Tomas Mikolov — modern kelime embedding'lerinin mucidi, Çek Cumhuriyeti'nden gelen önde gelen AI bilim insanı.

Erken yaşam

• Doğum: 1982, Çekoslovakya (sonra Çek Cumhuriyeti).
• Eğitim:
  • Brno Teknoloji Üniversitesi (BSc, MSc).
  • PhD (2012): bilgisayar bilimi, Lukáš Burget'in yanında.

Akademik kariyer

• Microsoft Research (2010-12): yardımcı.
• Johns Hopkins misafir.
• Google Brain (2012-14): araştırmacı.
• Facebook AI Research (2014-19).
• Çek Bilimler Akademisi (CIIRC) (2020-): kıdemli araştırmacı.

Word2Vec (2013)

Mikolov ve Kai Chen, Greg Corrado, Jeffrey Dean ile birlikte: "Efficient Estimation of Word Representations in Vector Space".

İki yöntem:

CBOW (Continuous Bag of Words)

Çevre kelimelerden hedef kelimeyi tahmin.

Skip-gram

Hedef kelimeden çevreyi tahmin.

Modern NLP'nin matematik dünyasını değiştirdi.

Daha sonra: "Distributed Representations of Words and Phrases and their Compositionality" (NeurIPS 2013).

"Kral - erkek + kadın = kraliçe"

Word2Vec'in en ünlü gösterimi. Vektör aritmetiği ile kavramsal işlemler.

Mikolov'un sezgisi: kelime ilişkileri vektör uzayında doğrusal.

fastText (2016)

Facebook AI'da Mikolov + ekibi: karakter n-gram'larından kelime embedding'leri.

Sözlük dışı kelimeler için bile embedding üretebilir. Modern multilingual NLP'nin önemli bir bileşeni.

Çek Cumhuriyeti'ne dönüş (2020)

ABD'den ayrılarak Çek Bilimler Akademisi'ne döndü.

Sebep: Avrupa'da yapay zeka araştırması destekleme misyonu. Aile.

Tartışmalar

Mikolov bazı sosyal medya tartışmalarına dahil oldu:

• Modern NLP'nin "tarihsel" yorumlanması'nda kendi katkılarının tanınmadığı şikayetleri.
• Transformer mimarisi vs Word2Vec sürekliliği.
• Modern büyük dil modellerinin "yeterli" olmadığı görüşü.

Bu, akademik dünyada bazen sert tartışmalara yol açtı.

Felsefe

Mikolov:

• "Anlama matematiksel olarak çözülebilir."
• "Yapay zeka ölçeklendirme dışında daha derin sorulara ihtiyaç duyuyor."
• "Avrupa AI araştırması güçlendirilmeli."

Diğer katkıları

• RNN-LM: rekürsif sinir ağı dil modelleri (2010 PhD).
• fastText: hızlı sınıflandırma + embedding.
• Modern multilingual NLP temel teknikleri.

Kişilik

Mikolov:

• Sessiz: medya görünürlüğü düşük.
• Akademik bağımsız: Avrupa'da çalışmak için ABD'den ayrıldı.
• Tartışmacı: kredi alma konusunda açık.

Mirası

• Word2Vec (2013): modern NLP'nin başlangıç noktası.
• fastText: pratik multilingual NLP.
• Çek bilim: Avrupa AI araştırma desteği.
• RNN-LM: dil modellerinin matematik temelleri.

Modern her LLM'in derinliklerinde Mikolov'un kelime embedding'leri ve sinir ağı dil modeli sezgileri çalışıyor. Modern AI'nın görünmez Çek babası.

"Matematik anlama dilidir." Mikolov'un paradigması.