Quoc Le: Seq2Seq'ten Vertex AI'a Google'ın Sessiz Mimarı

Hue'den Stanford'a

Quoc Le 1982 Vietnam, Hue şehrinde doğdu. Ailesi mütevazı. Vietnam Ulusal Üniversitesi'nde başladığı bilgisayar bilimini 2007'de bitirip Avustralya Ulusal Üniversitesi'ne master için gitti. Burada Alex Smola (Bayes'ci ML uzmanı) ile çalıştı.

2008'de Stanford'a doktora için katıldı, Andrew Ng'in öğrencisi oldu. Andrew Ng'in pekiştirmeli öğrenme tabanlı helikopter projesi öğrenci kuşağının önemli isimlerinden.

Google Brain (2011)

Doktora bitince Ng ile birlikte 2011'de Google Brain'i kurdu. Bu küçük takımda Le, Greg Corrado ve sonra Jeff Dean ile çalıştı.

İlk projeleri 16.000 CPU'da paralel sinir ağı eğitimi üzerine. Sonuç: YouTube videolarından kediyi kendiliğinden tanıma (2012). New York Times manşetine çıkan o ünlü proje.

Sequence-to-Sequence (2014) — devrim

Le'nin en büyük etkili çalışması: Sequence-to-Sequence Learning with Neural Networks (Sutskever, Vinyals, Le, 2014). Modern AI'da en çok atıf alan makalelerden biri.

Tez: bir LSTM'i input cümlesini bir vektöre kodlamak için kullan; başka bir LSTM'i bu vektörü output cümlesine çözmek için kullan.

$$\text{encoder} \to \text{context vector} \to \text{decoder}$$

Bu encoder-decoder mimarisi sonradan:

• Makine çevirisi standardı oldu (Google Translate 2016).
• Konuşma tanıma'da kullanıldı.
• Özetlemede kullanıldı.
• Tabloda dil dil çeviri'ye uyarlanmadı.
• Transformer (2017) seq2seq + attention birleşiminden doğdu.

Yani Le'nin makalesi modern NLP'nin kapı taşıdır.

Word2Vec ile bağlantı

2013'te Tomas Mikolov Word2Vec'i Google Brain'de yayımladı. Le, Doc2Vec (Paragraph Vector) ile bu fikri belge düzeyine taşıdı. Her belge için bir vektör; benzer içerikli belgeler vektör uzayında yakın.

Modern embedding modellerinin tarihsel öncüsü. Pinecone, FAISS, RAG ekosisteminin felsefi temeli.

Neural Architecture Search (2017)

Le ve Barret Zoph NAS (Neural Architecture Search) önerdi. Hipotez: sinir ağı mimarisini otomatik tasarla. RL ajan birçok mimariyi dener, hangisinin en iyi performans verdiğini "öğrenir".

NAS önerisi Google Brain'in AutoML ürünlerinin akademik temelidir. EfficientNet (Tan ve Le, 2019) bu hattan çıktı — Vision Transformer öncesi ImageNet liderliği.

NAS sonradan eleştirildi: hesap maliyeti muazzam, performans avantajı küçük. Ama AutoML pratik ürünleri her şirkette kullanılır oldu.

ELECTRA (2020) ve Meena (2020)

Le'nin diğer önemli katkıları:

• ELECTRA: BERT'e alternatif pre-training — sahte token tespiti. Aynı kalite ile %25 daha az hesap.
• Meena: Google'ın chatbot prototipi. ChatGPT'den 2 yıl önce, 2.6B parametre. Google kapalı tuttu, sonra Gemini'in atası oldu.

Meena'nın geri çekilmesi Google'ın "responsible AI" cephesinin uzun bir hikâyesinin başlangıcı. OpenAI 2022'de ChatGPT'yi açtığında Google'da Meena hâlâ deneysel idi.

Gemini ekibi (2023–)

Le, 2023'te Gemini ekibinin kurucu üyesi oldu. Google DeepMind ve Google Brain'in birleşmesinin baş mimarlarından. Hâlâ aktif olarak modelin agentic capabilities (araç kullanan, planlayan davranışlar) cephesinde çalışır.

Tarz: "sade ve sürekli"

Le'nin akademik tarzı şu: basit fikirler ama doğru zamanda. Seq2seq makalesi 3 sayfada anlatılabilir. NAS karmaşık ama temel iddiası basit. Doc2Vec word2vec'in doğrudan uzantısı.

Bu sadelik Quoc Le'nin imzasıdır. Bir röportajda:

"Bir fikrin önemli olduğunu anlamak için 6 ay düşünmem gerekiyor. Önemli fikirler genelde basit görünür. Karmaşık makaleler genelde yanılgıdır."

Sade ders

Le hikâyesinden iki şey:

1. Akademinin ana koridoru dışındaki şehirlerden çıkış yapmak mümkün. Hue'den Stanford'a, oradan Google Brain'in kuruluşuna. Coğrafi merkez değil, doğru zamanda doğru fikir önemli.
2. Seq2seq, transformer'ın atasıdır. Modern AI tarihinin yarım yüzyılını encoder-decoder kavramsallaştırması üzerine kuruyoruz. Bu fikir Le ve Sutskever'den geldi.

Bağlam

Google Brain için: [[andrew-ng-ai-yi-herkese-acan-adam]], [[jeff-dean-google-un-altyapi-dahisi]]. Transformer için: [[transformer-attention-is-all-you-need]]. Word2Vec için: [[tomas-mikolov-word2vec-ile-kelimenin-anlamini-vektorlestiren-ad]]. Modern Gemini için: [[demis-hassabis-deepmind-in-vizyoner-kurucusu]].