Hopfield Network: Fiziğin Bellek Modeli ve Modern Transformer Bağı

Bir fizikçi sinir ağı önerir

1982. John Hopfield Princeton fizikçisi. Sinirbilim ve fizik kesişimine ilgili. Bir gözleminde:

"Manyetik atomlar (spin sistemleri) birbirleriyle etkileşir, düşük enerjili duruma geçerler. Beyindeki nöronlar da birbirleriyle etkileşir. Aynı matematik geçerli mi?"

Hopfield bu fikri matematiksel olarak ifade etti. Hopfield Network: ikili nöronların birbiriyle ağırlıklı bağlantılarla bağlandığı sistem.

Mimari

$N$ nöron, her biri $s_i \in \{-1, +1\}$ (aktif/inaktif). Aralarındaki ağırlıklar $W_{ij}$. Sistem enerjisi:

$$E = -\frac{1}{2} \sum_{ij} W_{ij} s_i s_j$$

Bu, spin glass'ın Ising modeli. Fizikçiler için tanıdık.

Dinamik: rastgele bir nöron seç, enerjiyi azaltacak şekilde güncelle. Tekrar et. Sistem düşük enerjili duruma (attractor) yakınsar.

Bellek nasıl saklanır

Saklanacak desenler $\xi^\mu$ olsun ($\mu = 1, 2, \ldots, P$). Hebbian kuralı:

$$W_{ij} = \frac{1}{N} \sum_\mu \xi_i^\mu \xi_j^\mu$$

Her saklanmış desen bir attractor olur. Kısmi/bozuk bir desenle başla — sistem en yakın attractor'a yakınsar. İçerik-adresli bellek.

Klasik bellek (RAM) adres bazlı: "X adresindeki veri." Hopfield bellek içerik bazlı: "Bu deseni gör, en benzerini bul."

Hopfield'in kapasitesi

Klasik Hopfield ağ kaç desen saklayabilir? Limit: $P \approx 0.14N$. $N=1000$ nöron için $P=140$ desen. Çok az.

Bu sınır 30 yıl boyunca Hopfield ağlarını niş tutmuştu. Önemli akademik kavram ama pratik kullanım yok.

Modern Hopfield (2017)

2017'de Krotov ve Hopfield kendi ağ kapasitesini patlattı: Modern Hopfield Network. Enerji fonksiyonu polinomial yerine üstel:

$$E = -\log \sum_\mu \exp(\xi^\mu \cdot x)$$

Kapasite: $P \approx \exp(N)$. Üstel artış. Sınırsız kabul edilebilir.

Bu makale, Hopfield modelinin akademik yeniden doğuşuydu.

2020 — Hopfield = Attention

Şaşırtıcı keşif: Ramsauer ve ark. (2020), Sepp Hochreiter'in laboratuvarından, "Hopfield Networks is All You Need" makalesi yayımladı.

Tez: Modern Hopfield güncelleme kuralı = transformer attention mekanizması. Matematiksel olarak özdeş.

Attention: $\text{softmax}(QK^T) V$. Bu, Modern Hopfield'ın bir adım güncellemesidir. Yani:

• Transformer attention, bellek aramasıdır.
• Bir token (query), tüm geçmiş tokenları (keys) bir bellek olarak görür.
• En "benzer" geçmiş içeriğe yakınsar.

Bu derin teorik bağlantı modern AI'da bir aydınlanma anı.

Etki

Hopfield-attention bağlantısı şunları açıkladı:

1. In-context learning: LLM'ler eğitim sırasında gördüğü kalıpları bağlamdaki örneklerle birleştirir — bellek araması.
2. Few-shot learning: Bağlamdaki örnekler birer "desen" olur; sorgu en benzer desene yakınsar.
3. Associative memory: Transformer'ların ne kadar veri saklayabildiği, Hopfield matematiği ile sınırlanır.

2024 Nobel Fizik Ödülü

8 Ekim 2024. İsveç Akademisi: Nobel Fizik Ödülü John Hopfield ve Geoffrey Hinton'a verildi. "Yapay sinir ağlarıyla makine öğrenmesinin temellerini atan keşifler ve buluşlar için."

Hopfield 1982 ağı için. Hinton 1986 backpropagation (Rumelhart ile) ve Boltzmann machine için.

Bu, fizik Nobel'inin AI'a verilmiş ilk büyük tanınmasıydı. Tartışmalı: "Bu fizik mi? Yoksa bilgisayar bilimi?" Akademik dünya bölündü.

Hinton söyleşide: "Bu beklenmedikti. Yapay zekânın temellerini fizik düşüncesinden almıştık — Hopfield ağ teorisi, istatistiksel mekanik. Borcu fizik'e ödüyoruz."

Energy-based models (EBM)

Hopfield'ın enerji-tabanlı modeller (EBM) yaklaşımı modern AI'da hâlâ kullanılır:

• Diffusion models: Aşamalı enerji minimize etme.
• Score matching: Enerji gradient öğrenme.
• JEPA (LeCun): EBM tabanlı çerçeve.
• Boltzmann machines: Hinton'un erken çalışması.

EBM'ler, "veri dağılımını enerji yüzeyi olarak modelleme" felsefesini taşır. Modern üretken modellerin teorik temellerinden.

Klasik benzetme

Bir gözünden gördüğünü insanın hatırlamasını düşün. Tam değil, kısmi bir resim. Yine de "ah, bu falanca yer" diyebiliriz.

Bu, içerik-adresli bellek. Kısmi girdiden tam çıktıya yakınsama. Beyin böyle çalışır. Hopfield ağ bu mekanizmayı fizik denklemleriyle modeller.

Sade ders

Hopfield Network hikâyesinden iki şey:

1. Eski fikirler modern güçle uyanır. 1982 modeli 40 yıl marjinaldi. 2020 keşfi onu modern AI'ın merkezine yerleştirdi. Eski matematik yeni hesap güçleriyle güçlenir.
2. Disiplinler arasında temel bağlar var. Fizik, sinirbilim ve bilgisayar bilimi farklı kelimelerle aynı şeyleri konuşur. Hopfield bu üçünü birleştirdi — Nobel'in mantığı.

Bağlam

Transformer attention için: [[transformer-attention-is-all-you-need]]. Hopfield için: [[john-hopfield-fizigin-sinir-aglarina-katkilari]] (varsa). Hinton ve Boltzmann için: [[geoffrey-hinton-derin-ogrenmenin-baba-figuru]]. Hochreiter ve Modern Hopfield için: [[sepp-hochreiter-lstm-in-mucidi-ve-avrupa-ai-nin-sessiz-baba-figuru]]. JEPA için: [[jepa-llmlerin-alternatifi-olarak-yann-lecunin-vizyonu]].