Soumith Chintala: PyTorch'i Yazan Hint Asıllı Mühendis

Modern derin öğrenmenin görünmez ana caddesi

GPT-4 PyTorch ile eğitildi. Claude PyTorch ile eğitildi. Llama, Mistral, DeepSeek — hepsi PyTorch. Modern AI ürünlerinin çok büyük çoğunluğu tek bir Python kütüphanesi üzerinde çalışır.

O kütüphanenin baş yazarı: Soumith Chintala. Hindistan asıllı, Facebook AI Research araştırmacısı.

PyTorch indirme sayısı 150M+/ay. GitHub yıldız sayısı 80K+. Modern AI altyapısının en görünmez ama vazgeçilmez parçası.

Andhra Pradesh'ten New York'a

Chintala 1985 Hindistan Andhra Pradesh doğumlu. VIT University'de bilgisayar mühendisliği (2007). Sonra New York Üniversitesi'nde master (2014).

NYU'da Yann LeCun'un derslerine katıldı. Doğrudan Facebook AI Research'a katıldı (Yann LeCun davetiyle).

Torch'tan PyTorch'a

Facebook AI başlangıçta Torch kütüphanesini kullanıyordu — Lua programlama dilinde. Yann LeCun'un (önceki NYU çalışmasıyla) yıllarca geliştirdiği framework.

Sorun: Lua marjinal dildi. Yeni mühendisler Python kullanıyordu. 2016'da Chintala ve ekibi PyTorch'i yazdı: Torch'in Python'a port edilmiş hali.

Tasarım kararları:

1. Dynamic computation graph: TensorFlow'un static graph'ından farklı. Python'da doğal hissetir.
2. Pythonic API: Mühendisler "ah, bu numpy gibi" der.
3. Açık ve modüler: Her şeyi görmek, değiştirmek kolay.

PyTorch Ocak 2017'de açık kaynak olarak yayımlandı.

TensorFlow ile rekabet

Google'ın TensorFlow'u 2016'da hâkim DL framework'üydü. Endüstri standardı.

PyTorch akademiye yöneldi: araştırmacılar dynamic graph'in kolaylığını sevdi. NeurIPS, ICML konferanslarında PyTorch makaleleri patladı.

Sonra endüstri akademiye baktı: "yeni mühendisler PyTorch biliyor." Şirketler PyTorch'a geçmeye başladı.

2020'lerin başında PyTorch endüstri standardına döndü. TensorFlow hâlâ var ama PyTorch kazanmış.

Açık kaynak liderliği

Chintala PyTorch'i sadece yazmadı, topluluk yetiştirdi. PyTorch Foundation, açık katkıları, sürekli iletişim.

Twitter'da çok aktif (@soumithchintala). Açık kaynak felsefesini savunur:

"AI altyapısı açık olmalı. Tek bir şirketin kontrolünde olmamalı. Modern bilim işbirliği ile ilerler."

Bu görüş, Sam Altman'ın "AGI tek bir şirkette" yaklaşımına karşı.

PyTorch ötesi

Chintala PyTorch'tan sonra kişisel projeler üzerinde de çalıştı:

• Torchvision, Torchtext, Torchaudio: Görüntü, metin, ses için PyTorch uzantıları.
• TorchServe: Production deployment.
• PyTorch 2.0 ve TorchDynamo (2022): Yeni nesil derleyici.

Bu uzantılar PyTorch ekosistemini uçtan uca yaptı. Eğitimden ürüne her şey.

Meta'dan ayrılış (2024)

Mart 2024'te 10 yıllık Meta kariyerinden ayrıldığını duyurdu. Sebepler:

• PyTorch Foundation kurulması.
• Yeni projeler düşünme.

Şu an bağımsız konumda. Bağımsız çalışırken PyTorch'in liderliğini sürdürür.

"Pythonic mühendislik"

Chintala'nın felsefesi şudur:

"İyi mühendislik, mühendisin hayatını kolaylaştırır. PyTorch'u tasarlarken her zaman 'bu kod nasıl yazılır?' sorusunu sordum. Akademik elegant değil, kullanışlı."

Bu, fast.ai'nin Howard'iyle paralel: pratik mühendislik > akademik soyut. Modern AI'da kullanılabilirlik çoğunlukla performanstan kıymetli.

Sade ders

Chintala hikâyesinden iki şey:

1. Altyapı modern AI'ın asıl gücüdür. PyTorch olmadan modern derin öğrenme bu hızda gelişemezdi. Algoritma değil, kütüphane ekonomik değer yaratır.
2. Açık kaynak liderlik gerek. PyTorch milyonlar tarafından kullanılıyor. Bir kişinin tasarım kararları bütün alanı şekillendiriyor. Açık olmak demokratiktir.

Bağlam

PyTorch için: [[pytorch-tensorflow-derin-ogrenme-cerceveleri]] (varsa). Catanzaro ve NVIDIA için: [[bryan-catanzaro-nvidia-deep-learning-altyapisinin-mimari]]. LeCun için: [[yann-lecun-konvolusyonel-sinir-aglarinin-mucidi-ve-meta-aisin-baskani]]. Howard için: [[jeremy-howard-fast-ai-ile-derin-ogrenmeyi-demokratiklestiren-adam]]. Dağıtık eğitim için: [[dagitik-egitim-ddp-fsdp-tensor-parallel-modern-llm-altyapisi]].