Liam Fedus: Switch Transformer Baş Yazarı ve OpenAI Co-Lead

"MoE'yi pratik hâle getiren"

Mixture of Experts (MoE) fikri 1990'lardan beri var. Ama 2017'ye kadar pratikte zordi. Routing problemleri.

2021'de Google Brain'den Switch Transformer makalesi yayımlandı. MoE'yi basitleştirdi:

• Tek bir uzman per token (her token başına).
• Sade routing.
• Açık ve pratik.

Baş yazar: Liam Fedus.

Kanada'dan Google'a

Liam Fedus Kanada doğumlu. Waterloo Üniversitesi mühendislik. Sonra McGill Üniversitesi master.

Google Brain'e doktora yapmadan katıldı. Hızla kıdemli pozisyonlara yükseldi.

Switch Transformer (2021)

Switch Transformer T5 üzerine kuruldu. Ana sezgi:

"MoE karmaşık değil. Tek uzmanlı routing yeter."

Eski MoE: her token birkaç uzmana dağıtılır. Switch: tek uzmana.

Sonuç: aynı kalite, çok daha basit. Ve trilyon parametre ile eğitildi — o döneme kadar en büyük model.

OpenAI'a geçiş (2022)

2022'de OpenAI'a katıldı. Post-training ekibinin lideri oldu.

Post-training: pre-training sonrası modelin kullanışlı hâle getirilmesi. RLHF, instruction tuning, alignment.

ChatGPT'nin "kişiliği" Fedus ve ekibinin işidir.

"Co-lead" GPT-4

Fedus GPT-4'ün post-training cephesinin co-leadi. Bu, modern AI'nın en görünür ürününün arkasındaki anonim mimarlarından biri.

Brockman, Murati, Sutskever görünür ama Fedus gibi orta seviye mimarlar asıl iş yapıyor.

"Sade akademik"

Fedus akademik medyada görünmez. Twitter'da yarı aktif. Akademik makaleler net.

Bir 2024 söyleşisinde:

"İyi mimarinin ana özelliği sade olması. Karmaşık fikirler genelde yanlış."

Bu felsefe Switch Transformer'da somut.

Sade ders

Fedus hikâyesinden iki şey:

1. Sadeleştirme yeni paradigma yaratır. Switch Transformer MoE'yi basitleştirdi. Bu basitlik MoE'yi pratik hâle getirdi. Modern Mixtral, GPT-4 gibi MoE modeller Switch hattının devamı.
2. OpenAI ekibinde görünmez kahramanlar var. Fedus GPT-4'ün post-training co-lead'i. Brockman ve Murati medyada; Fedus arka planda. Modern AI ürünleri ekip işidir.

Bağlam

MoE için: [[mixture-of-experts-moe-genis-modeli-secici-olarak-calistirmak]]. Mistral ve Mixtral için: [[mistral-ai-avrupa-nin-open-source-cevabı]]. Noam Shazeer (orijinal MoE) için: [[noam-shazeer-transformer-mucitlerinden-ve-character-ai-girisimcisi]]. Mark Chen ve OpenAI için: [[mark-chen-openai-codex-baş-yazari-vp-of-research]]. T5 için: [[t5-her-nlp-gorevini-metinden-metine-cevirmek]].