Jeff Dean: Google'ın Altyapı Dahisi

"Jeff Dean fıkraları"

Google'da bir mühendis efsanesi vardır. Çuk Norris şakası tarzında, "Jeff Dean fıkraları":

"Jeff Dean fonksiyonu inline ettiğinde, asıl fonksiyonun yerinde mektup bulursun."

"Jeff Dean'in karbon ayak izi negatif çünkü o yazdığı kodlar atmosferden CO2 emer."

"Compiler error mesajları Jeff Dean'in adını duyunca özür diler."

Bu mizahın ardında gerçek var: Dean'in fiilen Google'ın temel altyapısının yarısını yazmış olması. MapReduce, BigTable, Spanner, TensorFlow, TPU — hepsinin baş mimarı ya da ana yazarı.

Honolulu → Minneapolis → Seattle → Google

1968 doğumlu. Babası tropik hastalıklar uzmanı, annesi medikal antropolog; çocukluğu Honolulu, Mogadishu, Cenevre, Atlanta arasında geçti. Minnesota Üniversitesi'nde bilgisayar bilimi (1990), Washington Üniversitesi'nde doktora (1996, derleyici optimizasyonu).

DEC Western Research Lab'da çalıştı (1996–1999), sonra Google'a katıldı (1999, 20. çalışan).

MapReduce (2003) — büyük verinin temeli

Sanjay Ghemawat ile birlikte yazdı. Fikir: büyük veri kümelerini birçok makineye dağıt, "map" ve "reduce" iki adımında işle. Hadoop, Spark, BigQuery, ModernData Lakehouse mimarileri hep bu fikrin türevi.

Bu çalışma 2004 OSDI konferansında yayımlandı. 20.000+ atıf. Modern büyük veri ekosisteminin doğum belgesi.

BigTable (2006), Spanner (2012)

• BigTable: Petabaytlarca veriyi dağıtık olarak yöneten NoSQL veritabanı. Google Search, Maps, YouTube'un altyapısı.
• Spanner: Dünya çapında dağıtık, sıkı tutarlı SQL veritabanı. TrueTime API ile saat senkronizasyonu fiziksel yapıldı (atomik saat + GPS).

Spanner, CAP teoreminin sınırlarını zorladı: hem C (consistency) hem A (availability) hem P (partition tolerance) "büyük ölçüde" elde edildi. Veri tabanı literatürünün dönüm noktası.

Google Brain (2011) — ikinci hayat

2011'de Andrew Ng ile birlikte Google Brain'i kurdu. İlk büyük çalışmaları: 16.000 CPU çekirdeği ile YouTube videolarından kediyi kendiliğinden tanıma (2012). New York Times manşet yaptı.

Bu, Google'ın internet şirketi olmaktan AI şirketine geçiş anının başlangıcıydı. Brain ekibi 2014'te DeepMind'la birleşmedi ama yakın işbirliğinde çalıştı; 2023'te resmi olarak Google DeepMind çatısı altında birleşti — Dean bu birleşmenin baş mimarı.

TensorFlow (2015)

Dean'in ekibi açık kaynak olarak yayımladı. PyTorch'a oranla daha eski; ölçeklenebilirlik üstün, kullanım kolaylığı zayıf. Yine de alanı tanımladı — 2016'da ML eğitiminin standart kütüphanesi.

PyTorch 2018'den sonra TensorFlow'u solladı, ama TensorFlow Lite, JAX gibi türevler hâlâ Google ekosisteminin temeli.

TPU (Tensor Processing Unit, 2016)

Dean'in liderliğinde Google kendi AI yongasını tasarladı. NVIDIA GPU'larından daha az esnek ama Google iş yükleri için 30x daha verimli. TPU v1'den TPU v5e'ye kadar 7+ nesil. Gemini, PaLM, AlphaFold hep TPU üzerinde eğitildi.

NVIDIA'nın AI hâkimiyetine karşı tek ciddi alternatif altyapı budur. AWS Trainium, Cerebras, Groq vb. hepsi TPU'nun kanıtladığı yoldan ilerler.

Gemini ve sonrası

2023'ten itibaren Dean, Google Brain ve DeepMind'ın birleşik Gemini modelinin baş AI bilim insanı. Gemini 1.5 Pro'nun 2024'teki 1 milyon token bağlamı bu liderliğin somut çıktısı.

Modern AI'da hâlâ kod yazan ender üst düzey yöneticilerden — 2024 Lex Fridman söyleşisinde 5 saat boyunca TPU mimarisini ve dağıtık eğitim ayrıntılarını anlattı.

"Bilgisayarın gizli kahramanı"

Dean'in kariyeri şunu gösterir: modern teknoloji ürünleri tek bir akıllı algoritmadan değil, sıkı entegre altyapıdan çıkar. ChatGPT'nin hızı, Search'ün ölçeği, YouTube'un buffer'sız akışı — hepsi MapReduce/BigTable/Spanner/TPU katmanlarında yatan kararların ürünü.

Bilgisayar bilimi ders kitaplarında "iyi algoritma" anlatılır. Pratikte aynı algoritmayı 10.000 makinede çalıştırmak başka bir sanattır. Dean bu sanatın baş ustasıdır.

Sade ders

Dean hikâyesinden iki şey:

1. Altyapı görünmezliği, etkisinin işaretidir. Kimse bir tıklamada arkada çalışan binlerce sistemi düşünmez. Ama hepsi Dean ve ekibinin yazdığı katmanlardan geçer.
2. Pratik sistem bilimi, "saf bilim" kadar değerlidir. Spanner'ın CAP teoremine pratik cevabı, akademik tartışmaların yıllar sonra varacağı noktayı şirket içinde uygulayarak belirledi.

Bağlam

Dağıtık sistemler için: [[map-reduce-buyuk-veri-paralel-isleme]], [[paxos-raft-konsensus-algoritmalari]]. Google Brain ortağı: [[andrew-ng-ai-yi-herkese-acan-adam]]. TPU-benzeri donanım için: [[nvidia-cuda-ai-cipi-imparatorlugu]] ve [[gpu-paralel-hesaplama-mimarisi]]. Modern AI altyapısı için: [[transformer-attention-is-all-you-need]] ve Gemini bağlantısı [[demis-hassabis-deepmind-in-vizyoner-kurucusu]].