Shannon Entropisi: Bilginin Matematiksel Ölçüsü

"Bu mesaj ne kadar bilgi taşır?"

İki haber duyuyorsunuz:

1. "Yarın güneş doğacak."
2. "Yarın İstanbul'a meteor düşecek."

İlki sıradan; az bilgi taşır (zaten her gün oluyor). İkincisi şok edici; çok bilgi taşır (nadir bir olay).

Bu sezgi matematik diline nasıl çevrilir? 1948'de Claude Shannon "A Mathematical Theory of Communication" adlı makaleyle cevap verdi: bilgi miktarı, olayın olasılığının logaritmasının ters işaretlisidir:

$I(\text{olay}) = -\log_2 P(\text{olay})$

Az olası olay = çok bilgi. "Güneş doğacak" $P = 1$, bilgi $= 0$ bit. "Meteor düşecek" $P \approx 10^{-9}$, bilgi $\approx 30$ bit.

Shannon entropisi

Bir dağılımın ortalama bilgi miktarı:

$H(X) = -\sum_{i} p_i \log_2 p_i$

Burada $p_i$ olası sonuçların olasılıkları, $H$ entropi (bit cinsinden).

Sezgisel anlamı: "bir mesaj kaç bit ile temsil edilebilir?"

Örnekler:

• Adil madeni para: $H = -2 \cdot 0.5 \log_2 0.5 = 1$ bit. Bir tek atış 1 bit bilgi içerir.
• Adil zar: $H = -6 \cdot \frac{1}{6} \log_2 \frac{1}{6} = \log_2 6 \approx 2.58$ bit.
• 8 eşit olası karakter: $H = 3$ bit (her karakter 3 bit gerekir).
• İngilizce alfabe (eşit dağılım varsayımı): $\log_2 26 \approx 4.7$ bit/harf.
• Gerçek İngilizce (harf frekanslarına göre): $\approx 4.18$ bit/harf. Bağıntılar dahil $\approx 1.5$ bit/harf.

Bilgi neden logaritma?

Bilgi toplanmalı, olasılık çarpılmalı. İki bağımsız olay olduğunda:

• Olasılık: $P(A \cap B) = P(A) \cdot P(B)$
• Bilgi: $I(A \cap B) = I(A) + I(B)$

Bir fonksiyon olmalı ki çarpımı toplama çevirsin — logaritma. Üstelik logaritmanın işareti negatif (çünkü $P \leq 1$, $\log P \leq 0$); bilgi pozitif olsun diye eksi alıyoruz.

Taban genellikle 2 (bit cinsinden bilgi). Ama doğal logaritma (nat) veya 10 tabanlı (Hartley) da kullanılabilir.

"Entropi" niye?

Shannon başlangıçta bu nicelik için ne isim koyacağına emin değildi. Anlatıya göre John von Neumann önerdi:

"Buna 'entropi' deyin, çünkü iki sebep var: birincisi, istatistiksel mekanikteki entropiye benziyor; ikincisi, kimse entropinin ne demek olduğunu tam bilmiyor, tartışmalarda her zaman avantajlı olursunuz."

Espri olsa da kalıcı oldu. Bilgi entropisi ile termodinamik entropisi gerçekten derin bir matematiksel bağ içerir.

"Kaynak kodlama" teoremi

Shannon'ın temel sonuçlarından biri: bir mesajı sıkıştırmak mümkün olan en az ortalama bit sayısı entropi'dir.

Örneğin: bir kaynak %50 "A", %25 "B", %25 "C" harflerini üretiyor. Entropi:

$H = -0.5 \log_2 0.5 - 0.25 \log_2 0.25 - 0.25 \log_2 0.25 = 1.5 \text{ bit/harf}$

Eşit kod (2 bit/harf) yerine Huffman kodlama:

• A → "0" (1 bit)
• B → "10" (2 bit)
• C → "11" (2 bit)

Ortalama: $0.5 \cdot 1 + 0.25 \cdot 2 + 0.25 \cdot 2 = 1.5$ bit/harf. Entropi sınırına ulaşılır.

Bu, modern sıkıştırma algoritmalarının (ZIP, JPEG, MP3, H.264) matematiksel temelidir.

"Kanal kapasitesi" teoremi

Shannon'ın ikinci temel sonucu: bir iletişim kanalı, belirli bir hızda hatasız bilgi taşıyabilir. Bu hız: kanal kapasitesi $C$.

Eğer kanaldan $R$ bit/saniye bilgi göndermek istiyorsanız:

• $R < C$ ise: hatasız iletim mümkündür (uygun kodlama ile).
• $R > C$ ise: hatasız iletim imkânsızdır.

Bu, gürültülü iletişim teoremi (1948). Modern telekomünikasyonun matematiksel sınırı.

Örneğin: 5G, fiber optik, uydu iletişimi — hepsi Shannon kapasitesine ne kadar yaklaşabileceğini optimize eder.

Pratik uygulamalar

1) Veri sıkıştırma

ZIP, RAR, gzip, bz2 — entropi sınırına yaklaşmaya çalışır. Metinlerde 50-70% sıkışma tipik.

2) Görüntü/ses sıkıştırma

JPEG, MP3, MP4, HEVC — kayıplı (lossy) sıkıştırma, ama temel matematik Shannon'a dayanır.

3) Hata düzeltme kodları

CD'ler, DVD'ler, internet protokolleri, uydu iletişimi — Shannon'ın hata düzeltme kodları teorisini kullanır.

4) Şifreleme

Bilgi-teorik güvenlik (Shannon'ın 1949 makalesi): "One-Time Pad" hatalı çözülemez şifreleme; tam Shannon güvenliği için anahtar mesaj kadar uzun ve rastgele olmalı.

5) Makine öğrenmesi

Cross-entropy kayıp fonksiyonu, sinir ağı eğitiminde standart. Information bottleneck teorisi derin öğrenmenin öğrenmeyi nasıl yaptığını analiz eder.

6) Biyoloji

DNA dizilerinin bilgi içeriği, hücre içi iletişim, beyin sinyalleri — hep Shannon araçları ile çalışılır.

7) Termodinamik

İstatistiksel mekanikte Boltzmann entropisi ile Shannon entropisi aynı matematiksel forma sahiptir; fiziksel sistemlerin "bilgi içeriği" hesabı.

Karşılıklı bilgi (Mutual Information)

İki rastgele değişken arasındaki bağıntı'yı ölçer:

$I(X; Y) = H(X) + H(Y) - H(X, Y)$

$I(X;Y) = 0$ ise $X$ ve $Y$ bağımsız. $I(X;Y) > 0$ ise birinden öğrenince diğeri hakkında bilgi artar.

Modern makine öğrenmesi ve istatistik bu kavramı sıkça kullanır.

Shannon'ın felsefi devrimi

Shannon entropisi modern bilim için devrim niteliğindeydi. Önceden "bilgi" subjektif, felsefi bir kavramdı. Shannon onu matematiksel ölçü haline getirdi:

"Bilgi sübjektif değil objektif bir nicelik; ölçülebilir, taşınabilir, sıkıştırılabilir."

Bu, bilgi çağının felsefi başlangıcı. İnternet, kuantum hesaplama, AI — hepsinin altında Shannon'ın 1948 sezgisi var.

"0'lar ve 1'ler dünyasının dili"

Modern dijital dünyanın temelinde sade bir denklem var: $H = -\sum p_i \log p_i$. Bu denklem:

• Bir Spotify şarkısının kaç bit olacağını,
• Bir WhatsApp mesajının ne kadar şifreleneceğini,
• Bir 5G hücresinin ne kadar veri taşıyabileceğini,
• Bir derin öğrenme modelinin ne öğrenebileceğini

— hepsini belirler.

Shannon'ın 1948'deki tek makalesi, bilgi çağının doğum belgesi. Bilgisayar bilimleri, telekomünikasyon, kuantum mekaniği, makine öğrenmesi, biyoloji — hepsi onun çatısı altında çalışıyor. Bir denklem, bir devrim.