Richard Bellman: Dinamik Programlamanın Mucidi

Brooklyn'lü çocuk

Richard Ernest Bellman 26 Ağustos 1920'de New York'un Brooklyn semtinde, Yahudi göçmen bir ailenin oğlu olarak doğdu. Babası küçük bir bakkal sahibi, annesi ev hanımı.

Çocukluğunda matematiğe büyük yetenek gösterdi. Erasmus Hall Yüksek Okulu'nda okudu. 16 yaşında Brooklyn College'a girdi (matematik 1941 lisans).

Johns Hopkins'te master, sonra Princeton'da doktora (1946). Hocası Solomon Lefschetz (topoloji).

Savaş yılları

İkinci Dünya Savaşı sırasında Bellman Los Alamos National Laboratory'de Manhattan Projesi'nde teorik fizikçi olarak çalıştı. Atom bombası geliştirme ekibinin bir parçasıydı.

Sonra orduya kayboldu (1944-1946), istatistiksel kontrol çalışmaları yaptı.

RAND Corporation: dönüm noktası

1952'de RAND Corporation'a (ABD Hava Kuvvetleri'nin düşünce kuruluşu) geçti. Bu, hayatının dönüm noktası oldu.

RAND'da Bellman çok aşamalı karar problemleri ile karşılaştı: uzun zaman dilimi boyunca ardışık kararlar içeren askeri ve ekonomik planlama. Klasik lineer programlama (Dantzig) tek-aşamalı kararlar için yeterliydi; ama çok-aşamalı problemler için yeni bir araç gerek.

Dinamik programlama doğdu

Bellman 1950'lerin başında dinamik programlama (DP) yöntemini geliştirdi. Sezgisi:

"Çok-aşamalı bir karar problemini, her aşamada yerel olarak optimum kararlar dizisi olarak çöz. Sondan başla, geriye doğru hesapla."

Bu özyinelemeli yaklaşım, klasik problemleri çok daha verimli çözer.

"İsim seçme" anekdotu

Bellman bu yöntemi neden "dinamik programlama" diye adlandırdığını sonradan anlattı:

"RAND'da bütçe denetleyicileri matematiksel araştırmaları kısıtlıyordu. 'Programlama' kelimesi onlara askeri/lojistik çağrışım yapıyordu — güvenli. 'Dinamik' kelimesi de değişken/aktif anlamı taşıyordu. Bu iki kelimeyi birleştirerek 'dinamik programlama' dedim — denetleyiciler dokunamadı."

Yani "dinamik programlama" adı bütçe denetleyicilerinden saklanmak için bir kamuflaj!

Bu hikâye matematik tarihinin en komik anlatımlarından biridir. Açıklayıcı veya sıralı optimizasyon gibi daha mantıklı isimler kullanılmadı çünkü onlar "matematiksel-soyut" sayılırdı.

Bellman denklemi

DP'nin matematiksel kalbı Bellman denklemi:

$V^*(s) = \max_a \{ R(s, a) + \gamma \sum_{s'} P(s'|s,a) V^*(s') \}$

Bir durumun optimal değeri = mevcut ödül + indirilmiş gelecek beklenen değer. Bu özyinelemeli denklem modern RL'nin temelidir.

"Boyut laneti"

Bellman ünlü bir terim daha icat etti: "curse of dimensionality" (boyut laneti, 1961).

Sezgi: bir problemin boyutu arttıkça çözüm uzayı üstel olarak büyür. Örneğin:

• 10'lu sayı, 1 boyutta: 10 olası değer.
• 10'lu sayı, 10 boyutta: $10^{10}$ olası değer.
• 10'lu sayı, 100 boyutta: $10^{100}$ — gözlemlenebilir evrendeki atom sayısından fazla.

Bu, çok boyutlu optimizasyonun temel zorluğu. DP de bundan kaçınamaz; sadece bazı yapısal durumları smartly çözer.

Modern makine öğrenmesi, istatistik, fizik — hepsi "boyut laneti" ile boğuşur. Bellman'ın terimi standart oldu.

Devasa üretkenlik

Bellman matematik tarihinin en üretken yazarlarından biri:

• 621 araştırma makalesi
• 39 kitap
• Onlarca doktora öğrencisi

Bu, sadece Euler ile karşılaştırılabilen bir üretkenliktir.

Klasik kitapları:

• "Dynamic Programming" (1957) — alanın kurucu metni.
• "Adaptive Control Processes" (1961) — "boyut laneti" terimi burada.
• "Mathematical Aspects of Scheduling" (1982).

USC profesörlüğü ve hastalık

Bellman 1965'te USC (University of Southern California)'ye profesör olarak geçti.

1973'te beyin tümörü teşhisi aldı. Operasyon sonrası felçli olarak yaşadı; konuşması zorlandı. Vücudunun büyük kısmını kullanamaz hale geldi.

Ama matematik üretmeye devam etti. Eşi Nina ve hemşirelerin yardımıyla, diğer 13 yıl boyunca makaleler dikte ettirdi, kitap yazdı.

Ölümünden önce çocuklarına şöyle dedi:

"Matematik benim mutluluğumdu. Hastalığım vücudumu aldı ama matematiği alamadı."

Bu cümle bilim tarihinin en duygulu anlarından biridir.

Bellman 1984'te öldü

19 Mart 1984'te Los Angeles'ta 63 yaşında öldü. Cenazesinde USC ve dünya matematik camiası, RL'nin sonraki nesil öncülerinin de katıldığı bir tören yapıldı.

Ödüller

• Norbert Wiener Prize (1970)
• IEEE Medal of Honor (1979)
• Hamming Medal (1985, ölümünden sonra)

Mirası

Bellman'ın matematik ve bilim dünyasındaki yeri benzersizdir:

• Dinamik programlama: modern optimizasyonun temeli.
• Bellman denklemi: modern RL'nin matematiksel kalbi.
• "Boyut laneti": makine öğrenmesi terminolojisinin standardı.
• Adaptif kontrol, kontrol teorisi, istatistiksel karar teorisi — pek çok alanın temel taşları.

Bugün AlphaGo, otonom araçlar, finansal optimizasyon, lojistik — hepsinin altında Bellman'ın 70 yıl önceki sezgileri yatıyor.

"Bütçe denetleyicilerinden kaçan adam"

Bellman'ın hikâyesi matematik tarihinin insancıl yüzünü gösterir. Bir araştırmacının kelime seçimi bile politik bir karardır. "Dinamik programlama" ismi pratik bir kamuflajdı; ama 70 yıl sonra modern AI'nın matematik temeli oldu.

Brooklyn'li bir çocuk, Manhattan Projesi'nde fizikçi, RAND'da matematikçi, USC profesörü, hastalığa rağmen üretmeye devam eden bir bilim insanı. Richard Bellman: 20. yüzyılın en üretken, en etkili, ama belki en az tanınan matematikçilerinden biri.