Bryan Catanzaro: NVIDIA Deep Learning Altyapısının Mimarı

Akademiden NVIDIA'ya

Bryan Catanzaro 1981 doğumlu. Brigham Young Üniversitesi'nde lisans (2002), UC Berkeley'de doktora (2011). Doktora danışmanı: Kurt Keutzer, paralel programlama uzmanı.

Doktora konusu: GPU üzerinde paralel makine öğrenmesi. 2011'de GPU'lar ML için "egzotik" bir donanımdı. CPU çoğu mühendisin standart seçimi. Catanzaro'nun tezi: doğru bir şekilde paralelleştirilirse GPU 100x hızlı eğitim sağlar.

Baidu (2014–2016)

Doktoradan sonra NVIDIA Research'a katıldı, sonra 2014'te Andrew Ng'in çağrısı ile Baidu Silicon Valley AI Lab'a geçti. Burada Deep Speech 2 üzerinde çalıştı — Çincede dünyanın o tarihteki en iyi konuşma tanıma sistemi.

Baidu deneyimi onun pratik mühendislik anlayışını şekillendirdi. Akademik benchmark'ı kovalamak değil, ürün için altyapı kurmak — bu fark sonra NVIDIA'da onun temel teması olacak.

NVIDIA'ya dönüş (2016)

2016'da NVIDIA'ya Applied Deep Learning Research başkanı olarak döndü. 8 yıldır orada. Bu süre boyunca NVIDIA'nın GPU üreticisinden AI altyapı şirketine dönüşümünün arka plan mimarı oldu.

Önemli çalışmaları

cuDNN (2014–): Catanzaro doğrudan yazmadı ama mimarisi ve takım liderliği ile şekillendirdi. cuDNN, sinir ağı katmanlarının GPU üzerinde optimize edilmiş implementasyonu. PyTorch, TensorFlow, JAX — hepsi altta cuDNN kullanır. Tipik 10-50x hızlanma.

cuDNN olmasa modern derin öğrenme bu hızda gelişemezdi.

Megatron-LM (2019–): NVIDIA'nın büyük dil modeli eğitim çerçevesi. Tensor parallelism, pipeline parallelism gibi modern dağıtık eğitim tekniklerinin standardını belirledi. GPT-3'ten sonra hemen her büyük model Megatron ya da türevi ile eğitildi.

FasterTransformer ve TensorRT-LLM: Çıkarım optimizasyonu. Modern LLM servislerinin GPU üzerinde tek kullanıcı başına maliyet düşüşünün altyapısı.

Mixed Precision Training (2017): FP16 + FP32 karma eğitim. Bellek %50 düşer, hız 2-3x artar. Tüm modern derin öğrenmenin standardı.

"Çiftli Kim" akademik felsefe

Catanzaro bir röportajda şöyle dedi:

"Akademide insanlar ya algoritma ya da sistem üzerinde çalışır. İkisini de yapan çok az kişi. Modern AI'da bu iki dünya birbirinden ayrılamaz."

Bu felsefe Megatron-LM örneğinde somut: Megatron sadece bir framework değil, paralelizm mimarisinin algoritmik tasarımı. Tensor split nereye yapılır, gradient nasıl reduce edilir, hangi katman cuDNN ile, hangi LMS'le — bunların hepsi araştırma sorusu.

VITA, Cosmos, BioNeMo

Son 3 yıldaki NVIDIA Research yönetimi altındaki büyük projeler:

• VITA (2023): Multimodal LLM'ler için referans mimari.
• Cosmos (2024): Robotik için fiziksel dünya modeli — Anandkumar'la birlikte.
• BioNeMo (2023–): İlaç keşfi için biyolojik temel modeller. AlphaFold ve genetik uygulamalar.

Bu projeler NVIDIA'nın "altyapı şirketi"nden "ürün şirketi"ne kısmi dönüşümünü gösteriyor.

Anlatan kimseyi tanımıyor

Catanzaro NVIDIA'da "görünmeyen mimar" rolünde. Yapay zekâ topluluğunda Hinton, LeCun gibi tanınmış değil. Twitter'da aktif değil, kamu görünümü minimum. Ama her büyük model eğitimi onun yazdığı kodun üzerinde çalışır.

Bu sessiz tarz GPU/altyapı dünyasında yaygın. Jeff Dean da benzer; arada Catanzaro'nun farkı: NVIDIA'da çok daha az kamuya açık, çok daha çok ürün takıma yakın.

"Eski usul" engineering

Bir SIGGRAPH 2023 konuşmasında:

"İyi performansın sırrı, donanımı ne yaptığını bilmektir. Bir matrisin paralelleştirilmesi için Sequence diagramı çizmek yetmez — register tahsisi, cache hit-miss'i, bellek bant genişliği zamanı zihninde olmalı."

Bu "metal seviye" mühendislik 2010'ların ortasında modern Python ekosistemiyle (PyTorch, NumPy) marjinalleşti. Catanzaro CUDA seviyesi optimizasyonun hâlâ kritik olduğunu savunan az sayıdaki akademik figürden biri.

Sade ders

Catanzaro hikâyesinden iki şey:

1. Altyapı görünmezdir, ama temeldir. Modern AI'ın trilyon dolarlık ekosistemi cuDNN, NCCL, Megatron gibi katmanların üzerine kuruludur. Bu altyapıyı yazan kişiler kamuoyu önünde değil.
2. Algoritma + sistem birlikte düşünülmelidir. Akademinin iki ayrı dünyayı izlemesi, modern AI'da ölü bir paradigma.

Bağlam

NVIDIA mimarisi için: [[gpu-paralel-hesaplama-mimarisi]], [[flashattention-gpu-yu-akilli-kullanan-attention]]. NVIDIA'nın diğer büyük figürü: [[anima-anandkumar-fizik-ve-ai-arasinda-bir-koru]]. Dağıtık eğitim için: [[ddp-fsdp-dagitik-egitim]] (varsa). Modern LLM altyapısı için: [[transformer-attention-is-all-you-need]], [[kv-cache-llm-belleginin-sessiz-darbogazi]].