Claude Shannon ve Bilgi Teorisi: "Bilgi"yi Ölçmek ve Dijital Çağı Başlatmak

"Bilgi" Ölçülebilir mi?

Bir mesajın ne kadar "bilgi" taşıdığını nasıl ölçersiniz? Bu, ilk bakışta felsefi, hatta ölçülemez bir soru gibi görünür. Bir kitap mı daha çok bilgi içerir, bir fotoğraf mı? Bir cümle ne kadar "bilgi"dir?

1948'de, Amerikalı matematikçi ve mühendis Claude Shannon (daha önce Boole cebrini elektrik devrelerine bağlayan kişi olarak tanışmıştık), bu soruya kesin, matematiksel bir cevap verdi. "İletişimin Matematiksel Teorisi" adlı çığır açan makalesiyle, neredeyse tek başına bilgi teorisi adlı yepyeni bir bilim dalını kurdu.

Anahtar Fikir: Bilgi = Sürpriz

Shannon'ın dâhiyane kavrayışı şuydu: Bilgi, sürprizle ilgilidir. Bir mesaj ne kadar beklenmedik/öngörülemez ise, o kadar çok bilgi taşır.

Bir örnek: "Yarın güneş doğacak" cümlesi neredeyse hiç bilgi taşımaz, çünkü zaten kesin olarak biliyoruz — hiç sürpriz yok. Ama "Yarın güneş tutulması olacak" çok daha fazla bilgi taşır, çünkü beklenmedik ve nadir bir olaydır.

Shannon bunu kesinleştirdi: Bir olayın taşıdığı bilgi miktarı, o olayın olasılığıyla ters orantılıdır. Olası olaylar az bilgi, nadir olaylar çok bilgi taşır. Bu fikre, fizikteki bir kavramdan esinlenerek "entropi" adını verdi — bir mesaj kaynağının ortalama belirsizliğinin/bilgisinin ölçüsü.

"Bit"in Doğuşu

Shannon, bilgiyi ölçmek için bir birim tanımladı: bit (binary digit — ikili basamak). Bir bit, iki eşit olasılıklı seçenek arasındaki belirsizliği gidermek için gereken bilgi miktarıdır.

Örneğin: Bir yazı-tura atışının sonucu (yazı mı tura mı?) tam olarak 1 bit bilgidir. İki bağımsız atış 2 bit, üç atış 3 bit... İşte bugün her gün duyduğumuz "bit", "kilobit", "megabit" kavramlarının kökeni budur. Telefonunuzun "indirme hızı 100 megabit/saniye" derken, Shannon'ın 1948'de tanımladığı bu birimden bahsediyoruz. Bit, daha önce tanıştığımız ikili sistemle (0 ve 1) doğrudan bağlantılıdır.

İki Devrimci Sonuç

Shannon'ın teorisi iki temel pratik soruyu yanıtladı ve modern iletişimi mümkün kıldı:

1. Sıkıştırmanın sınırı: Bir mesajı, bilgisini kaybetmeden en fazla ne kadar küçültebiliriz? Shannon, her bilgi kaynağının bir entropi değeri olduğunu ve bunun altına sıkıştırmanın imkânsız olduğunu gösterdi. Bu, daha önce Fourier'de bahsettiğimiz dosya sıkıştırmanın (ZIP, MP3, JPEG) teorik temelidir.

2. Gürültüye rağmen iletişim: Bir iletişim kanalı "gürültülü" olsa bile (telefon hattındaki parazit, uzaydan gelen zayıf sinyal), Shannon hatasız iletişimin mümkün olduğunu kanıtladı! Yeter ki doğru "hata düzeltme kodları" kullanılsın. Bu, sezgiye aykırıydı — herkes gürültünün hatayı kaçınılmaz kıldığını sanıyordu. Shannon, gürültülü bir kanalın bile belirli bir "kapasiteye" kadar mükemmel iletişime izin verdiğini gösterdi.

Modern Dünyanın Temeli

Shannon'ın bilgi teorisi, içinde yaşadığımız dijital çağın görünmez temelidir:

• Veri sıkıştırma: İndirdiğiniz her ZIP dosyası, izlediğiniz her video (sıkıştırılmış), Shannon'ın entropi sınırlarına dayanır.
• Hata düzeltme: Uzaydan gelen fotoğrafların (Mars'tan, derin uzaydan) bozulmadan ulaşması, CD'lerin çizik olsa bile çalması, telefon görüşmelerinin net olması — hepsi hata düzeltme kodları sayesindedir. Bunlar olmadan modern iletişim çökerdi.
• İnternet ve mobil iletişim: Tüm dijital iletişim ağları, Shannon'ın belirlediği kapasite sınırları içinde tasarlanır.
• Yapay zekâ ve veri bilimi: Entropi kavramı, makine öğrenmesinde (örneğin karar ağaçlarında) temel bir araçtır.

Sıra Dışı Bir Zihin

Shannon, aynı zamanda son derece oyuncu bir zihindi. Boş zamanlarında jonglörlük yapan makineler, satranç oynayan ve labirent çözen mekanik fareler, hatta tek elle çözülebilen bir Rubik küpü icat etti. Bilimle eğlenceyi birleştiren bu yaratıcı ruh, onun en derin keşiflerinin de kaynağıydı.

Sonuç

Claude Shannon, "bilgi nedir ve nasıl ölçülür?" gibi neredeyse felsefi bir soruyu aldı ve ona kesin, matematiksel bir cevap verdi. "Bit" kavramını icat ederek, soyut "bilgi"yi sayılabilir, işlenebilir, iletilebilir bir niceliğe dönüştürdü.

Bugün gönderdiğiniz her mesaj, izlediğiniz her video, yaptığınız her arama — hepsi, Shannon'ın 1948'de attığı temeller üzerinde yükseliyor. Boole mantığa, Turing hesaplamaya, Shannon ise iletişime ve bilgiye matematiksel bir zemin kazandırdı. Bu üçü, modern dijital dünyanın görünmez kurucu babalarıdır.