Harfleri Saymak: Markov ve Shannon Dilin Matematiğini ve Modern Yapay Zekânın Tohumlarını Nasıl Attı?

Bir Roman, Bir Sayma İşi ve Bir Devrim

$1913$ yılında, Rus matematikçi Andrey Markov sıra dışı bir iş yaptı. Aleksandr Puşkin'in ünlü manzum romanı Yevgeni Onegin'in ilk binlerce harfini eline aldı ve onları tek tek saydı. Tam olarak neyi sayıyordu? Bir harfin sesli mi yoksa sessiz mi olduğunu, ve daha da önemlisi, bir sesliden sonra yine bir sesli mi yoksa bir sessiz mi geldiğini.

Neden bu tuhaf uğraş? Markov, dönemin olasılık teorisindeki önemli bir varsayıma meydan okumak istiyordu. O güne kadar matematikçiler, büyük sayılar yasası gibi sonuçları genellikle bağımsız olaylar için kanıtlamıştı — yani her olayın, bir öncekinden etkilenmediği durumlar (peş peşe atılan paralar gibi). Markov ise şunu göstermek istiyordu: olaylar birbirine bağımlı olsa bile, düzenli istatistiksel yasalar yine de geçerli olabilir.

Dil, bunun mükemmel bir örneğiydi. Bir harfin ne olacağı, bir önceki harfe bağlıdır — Türkçede bir sessizden sonra genellikle bir sesli gelme eğilimi vardır. İşte Markov, bu "her adımın yalnızca bir öncekine bağlı olduğu" sistemleri matematiksel olarak modelledi. Bugün bunlara Markov zincirleri denir ve olasılık teorisinin en güçlü araçlarından biridir.

Markov Zincirinin Özü: "Gelecek, Sadece Şimdiye Bağlıdır"

Markov zincirinin kalbindeki fikir zariftir: bir sistemin bir sonraki durumu, yalnızca şu anki durumuna bağlıdır; daha öncesinin tüm geçmişi önemsizdir. Harf örneğinde: bir sonraki harfin sesli mi sessiz mi olacağını tahmin etmek için, sadece şu anki harfin ne olduğunu bilmeniz yeterli; ondan öncekiler fark etmez.

Bu basit kural — "geçmiş değil, sadece şimdi" — şaşırtıcı derecede güçlüdür ve hava durumundan borsaya, internette sayfa gezinmesinden genetiğe kadar sayısız sistemi modeller.

Shannon Sahneye Çıkıyor: Dilin Bilgisi

Markov'un fikri, onlarca yıl sonra başka bir dâhinin elinde patladı: Claude Shannon. $1948$'de Shannon, bilgi teorisini kurarken Markov'un dil üzerindeki çalışmasını çok daha ileri taşıdı.

Shannon şunu sordu: Bir dil ne kadar "öngörülebilir"dir? Bir cümlede bir sonraki harfi tahmin etmek ne kadar kolaydır? Bunu ölçmek için, tıpkı Markov gibi, harf ve kelime istatistiklerini kullandı. Bir harfin ne kadar "sürpriz" taşıdığını ölçen kavrama entropi dedi.

Shannon'ın çarpıcı bir deneyi vardı: İngilizce metinleri, harflerin görülme sıklığına göre adım adım taklit etti. Sadece harf sıklıklarını kullanırsanız anlamsız bir karmaşa çıkar. Ama "hangi harften sonra hangi harf gelir" istatistiklerini (Markov tarzı) ekledikçe, ürettiği metin giderek gerçek dile benzemeye başladı — tanınabilir hece ve kelime parçaları belirdi. Shannon, dilin istatistiksel yapısının, onu makinelerle taklit etmenin anahtarı olduğunu gösterdi.

Bugüne Uzanan Çizgi: Dil Modelleri

İşte hikâyenin en heyecan verici kısmı. Markov'un harf sayması ve Shannon'ın dil entropisi, bugün cebinizdeki teknolojinin doğrudan atalarıdır:

• Yazışma tahmini: Telefonunuz bir kelime yazarken sonrakini önerirken, tam olarak "bu kelimeden sonra hangisi gelir?" istatistiğini kullanır — bu, bir Markov zincirinin torunudur.
• n-gram modelleri: Onlarca yıl boyunca, "son birkaç kelimeye bakıp sonrakini tahmin etme" fikrine dayanan bu modeller, dil teknolojisinin belkemiğiydi.
• Büyük dil modelleri: Bugünün yapay zekâ sohbet sistemleri çok daha karmaşık olsa da, temel mantıkları hâlâ aynı kökten gelir: dildeki istatistiksel örüntüleri öğrenip, "bir sonraki kelime ne olmalı?" sorusunu yanıtlamak. Markov'un Puşkin'in harflerini sayarken attığı tohum, yüz yıl sonra dev yapay zekâ modellerinde çiçek açtı.

Markov ve Shannon'ın hikâyesi, matematikteki en güzel sürekliliklerden birini gösterir. Bir matematikçi, soyut bir teoriyi kanıtlamak için sabırla bir romandaki harfleri saydı. Bu mütevazı uğraş, önce olasılık teorisini, sonra bilgi çağını, en sonunda da bugünün yapay zekâsını doğurdu. Kelimeleri tahmin eden her algoritmanın derininde, bir asır önce sayılan o Puşkin harfleri hâlâ yankılanıyor.