Ashish Vaswani: Transformer Makalesinin Baş Yazarı

Bir makalenin lider yazarı

Aralık 2017. NeurIPS'te "Attention is All You Need" makalesi. 8 yazar: Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin. Sıralama önemli: ilk yazar Ashish Vaswani.

Akademik gelenekte ilk yazar genelde fikrin ana yazıcısı ve kod yazan kişidir. Vaswani transformer mimarisinin iki yıllık çalışmasının baş katılımcısıdır.

Bu makale modern AI'ın doğum belgesidir. Vaswani imzasını taşır.

Hindistan'dan Berkeley'e

Vaswani 1980 Hindistan doğumlu. IIT Madras'tan elektrik mühendisliği lisansı. Sonra USC'de doktora (2014). Konusu: nöral makine çevirisi (seq2seq öncesi dönem).

2016'da Google Brain'e katıldı. Pasifik Kıyısı'na taşınma, baş Hindistan kuşağının tipik yolu.

Transformer fikri nasıl doğdu

Modern AI tarihinde tartışmalı: kim ne kadar katkı yaptı?

Vaswani versiyonu (2024 Bloomberg söyleşisinde):

"Self-attention fikri vardı, ama eski. Bizim katkımız: encoder-decoder + multi-head + position encoding birleşimi. Bu, bir model olarak çalışan ilk halidir."

İlişkili tartışmalar:

• Schmidhuber kendisinin daha önce attention varyantları önerdiğini söyler.
• Bahdanau (2015) nöral makine çevirisi için ilk attention'ı önermişti.

Vaswani 2017 katkısı: bütün bunları çalışan bir model haline getirme.

Google Brain dönemi

Vaswani 2016-2021 Google Brain'de kaldı. Transformer sonrası diğer çalışmaları:

• Sparse Transformer (2019): Uzun bağlam için seyrek attention.
• Universal Transformer: Tekrar eden Transformer.

Bu makaleler "Attention is All You Need" kadar etkili olmadı. Ama Vaswani transformer hattını sürdüren bir araştırmacı.

Adept AI (2022)

2022 Nisan ayında Niki Parmar (Transformer ortak yazarı) ve diğer eski Googleüler ile birlikte Adept AI Labs'ı kurdu. Tezi: "AI ajanları" — yazılımı kullanan AI'lar.

Adept'in modeli ACT-1, kullanıcı bir görev veriyor (mesela "Salesforce'a bu müşteriyi gir"), AI doğrudan kullanıcı arayüzünde işlemi yapıyor. Modern agentic AI öncüsü.

2024'te değerlemesi 1+ milyar dolar. Amazon ile büyük bir teknik anlaşma yaptı.

Eylül 2024 — Amazon'a satış

24 Eylül 2024'te Amazon, Adept çalışanlarının çoğunu ve teknolojisini lisansladı. Bu, modern AI'da yaygın bir "acquihire" yapısı.

Vaswani Amazon'a katıldı. AGI Lab kurmaya çalışılan ekipte yer aldı. xAI ve Meta ile birlikte ABD'nin yeni nesil AI laboratuvarlarından.

"Transformer yazarları" göçü

Transformer makalesinin 8 yazarı bugün dağılmış:

• Vaswani: Adept → Amazon AGI Lab.
• Shazeer: Character.AI → Google.
• Parmar: Adept → Amazon.
• Uszkoreit: Inceptive (biyoteknoloji).
• Jones: Akademik.
• Gomez: Cohere.
• Kaiser: OpenAI.
• Polosukhin: NEAR Protocol (blockchain).

Sekiz kişi, sekiz farklı şirket. Bu, modern AI'nın dağıtık yapısının somut örneği. Tek bir laboratuvar değil, bir kuşak modern AI'ı kurdu.

"Yıllar sonra fark edilen"

Transformer makalesi 2017'de yayımlandı. Hemen ilgi çekmedi: NLP topluluğunun bir kısmı önemini fark etti, ama büyük lab dışında etki sınırlıydı.

GPT-2 (2019) ve BERT (2018) onun temeli üzerine kuruldu. ChatGPT (2022) tüm dünyada Transformer'i tanıttı.

Vaswani şöyle söyledi:

"Makale ilk başta dağıttığımızda kimse sıra dışı bir şey olduğunu fark etmedi. Hatta biz de değil. Şimdi hayretle bakıyoruz."

Bilimin ironisi: önemli fikirler kendi büyüklüklerini bilmez.

Sade ders

Vaswani hikâyesinden iki şey:

1. Akademik makale yıllar sonra etki yapabilir. Transformer 2017'de bir konferans makalesiydi. 7 yıl sonra trilyon dolarlık endüstrinin temeli. Akademik düşüncenin gecikmeli ekonomisi vardır.
2. Ekip kıymetlidir. Vaswani tek değil — 8 yazar birlikte çalıştı. Modern AI'da büyük fikirler işbirliğidir, dehâ değil.

Bağlam

Transformer için: [[transformer-attention-is-all-you-need]]. Aidan Gomez için: [[aidan-gomez-attention-makalesinin-en-genc-yazari-ve-cohere-kurucusu]]. Noam Shazeer için: [[noam-shazeer-transformer-mucitlerinden-ve-character-ai-girisimcisi]]. Modern agentic AI için: [[function-calling-llm-ye-arac-vermek]]. Quoc Le ve seq2seq için: [[quoc-le-seq2seq-ten-vertex-ai-ye-google-un-quiet-mimari]].