Konveks Fonksiyonlar ve Jensen Eşitsizliği: Modern Optimizasyonun Sade Ama Güçlü Temeli

Bir fonksiyon $f(x) = x^2$ düşünün. Grafiğini çizin: tepesinden değil, dibinden açılan, kâse şeklinde bir parabol. Şimdi bu grafik üzerinde herhangi iki nokta seçin: $(a, f(a))$ ve $(b, f(b))$. İki nokta arasında doğrusal bir çizgi (sekant) çizin. Bu doğrunun, iki nokta arasındaki tüm fonksiyon grafiğinin üzerinde kaldığını fark edersiniz.

Bu sade gözlem, konveks fonksiyonun tanımıdır.

Daha matematiksel olarak: bir $f$ fonksiyonu konvekstir ancak ve ancak her $a, b$ noktası ve her $\lambda \in [0, 1]$ için:

$f(\lambda a + (1-\lambda) b) \le \lambda f(a) + (1-\lambda) f(b)$

Yani fonksiyonun "ortalama bir noktadaki değeri", iki uçtaki değerlerin ortalamasından küçük ya da eşittir.

Bu küçük tanım, modern matematik dünyasının pek çok alanını derinden etkiler. Optimizasyon, makine öğrenmesi, ekonomi, istatistik, kuantum bilgi teorisi — hepsi konveks fonksiyonların "iyi davranışı" üzerine kurulur.

Konveks ve konkav

Konveks fonksiyonun tersi konkav fonksiyondur: $-f$ konvekssa $f$ konkavdır. Örnekler:

• Konveks: $x^2$, $e^x$, $|x|$, $-\log x$ (pozitif $x$ için), $\max(x, 0)$.
• Konkav: $\log x$ (pozitif $x$ için), $\sqrt{x}$, $-x^2$.
• Hem konveks hem konkav: sadece doğrusal (lineer) fonksiyonlar ($ax + b$).

Bir fonksiyonun konveks olup olmadığını anlamanın hızlı yolu: ikinci türevine bakmak. Eğer $f''(x) \ge 0$ her $x$ için, $f$ konvekstir. $f''(x) \le 0$ ise konkav. Örneğin $f(x) = x^2$: $f''(x) = 2 \ge 0$, konvekstir.

Jensen eşitsizliği

Konveks fonksiyonlardan çıkan en derin sonuç Jensen eşitsizliğidir. 1906'da Danimarkalı matematikçi Johan Jensen'in yazdığı bu eşitsizlik şu kompakt formdadır:

Eğer $f$ konveks ise ve $X$ rastgele bir değişken ise:

$f(\mathbb{E}[X]) \le \mathbb{E}[f(X)]$

Sözlü: "Bir konveks fonksiyonun ortalamadaki değeri, fonksiyon değerlerinin ortalamasından küçük ya da eşittir."

Eğer $f$ konkavsa eşitsizlik tersine döner.

Örneğin, $f(x) = x^2$ konveks. Eğer $X$ yarı yarıya 0 ve 10 değerlerini alıyorsa: $\mathbb{E}[X] = 5$, $f(\mathbb{E}[X]) = 25$. Ama $\mathbb{E}[f(X)] = \tfrac{1}{2}(0^2) + \tfrac{1}{2}(10^2) = 50$. Yani $25 \le 50$ — Jensen tutar.

Niçin önemli?

Bu basit eşitsizlik, modern matematiğin pek çok temel sonucunun arkasında yatar:

1. AM-GM eşitsizliği

Aritmetik ortalama ≥ Geometrik ortalama. Bu, Jensen eşitsizliğinin $f(x) = -\log x$ (konveks değil — eksi log konvekstir!) için özel bir hâlidir. $\log$ konkav olduğundan, Jensen "$\log$ ortalamasının ortalamasına" eşitsizlik verir; bu da AM-GM'ye çıkar.

2. Bilgi teorisi (entropi)

Bilgi entropi $H(X) = -\sum p_i \log p_i$ formülünün maksimum değeri için Jensen kullanılır. Maksimum, $p_i$'lerin hepsi eşit olduğunda (homojen dağılım).

3. KL-diverjans

İki olasılık dağılımı arasındaki "uzaklık" $D_{KL}(P || Q) = \sum p_i \log(p_i/q_i)$ ifadesinin sıfırdan büyük ya da eşit olduğunu Jensen ile kanıtlarız. Bu, makine öğrenmesinin temel kavramlarından.

4. Finans: Kelly kriteri

Bir yatırımın logaritmik getirisinin beklenen değerini maksimize etmek (Kelly kriteri), Jensen eşitsizliği ile bağlantılı. Logaritma konkav olduğundan, "geometrik ortalama" geometriksel olarak doğru ölçüdür.

5. Sigorta matematiği

Bir kişi, çoğu zaman bir sigorta primini "adil" beklenen değerinden daha pahalı ödemeye razıdır. Çünkü kişi risk aversiyonludur — yani fayda fonksiyonu (utility function) konkavdır. Jensen, bunun matematiksel olarak neden tutarlı bir karar olduğunu açıklar.

Konveks optimizasyon

Konveks fonksiyonların matematik araştırma topluluğundaki en büyük popülerliği, konveks optimizasyon alanından gelir. Eğer minimuma indirilecek fonksiyon konveks ve kısıtlama kümesi konveks ise:

• Yerel minimum = global minimum. Yani gradyan iniş algoritmaları "tuzağa düşmez", her zaman en iyi çözümü bulur.
• Verimli algoritmalar var. İç nokta yöntemleri, semidefinite programming gibi araçlar konveks problemleri polinom zamanda çözer.
• Dualite teoremleri vardır: bir problemin "dual" formu, çoğu zaman daha kolay çözülür ve bu çözümden orijinal problemin çözümü çıkarılır.

Buna karşılık konveks olmayan optimizasyon, çok daha zordur. Modern derin öğrenme (yapay sinir ağları), konveks olmayan optimizasyon problemi olduğu için tam çözümü kanıtlanamaz; eğitim algoritmaları yalnızca iyi yerel minimumlara ulaşır.

Makine öğrenmesinde rol

Modern makine öğrenmesinde Jensen ve konvekslik her yerdedir:

• Lojistik regresyon, lineer regresyon, destekçi vektör makineleri (SVM): Hepsi konveks kayıp fonksiyonları (loss function) kullanır. Bu nedenle eğitilebilirlikleri matematiksel olarak garantilidir.
• Gradyan iniş: Konveks fonksiyonlarda küresel optimuma ulaşması kanıtlanabilir.
• EM algoritması: "Beklenti-Maksimizasyon" algoritması, Jensen eşitsizliği ile türetilir.
• Variational Inference: ELBO (Evidence Lower Bound) hesabı Jensen kullanır.
• Sinir ağları: Eğitim sırasında dropout, batch normalization gibi düzenlemeler konvekslik özelliklerini kısmen korumaya çalışır.

Bir hayat dersi

Konveks fonksiyon kavramı, "davranışı tahmin edilebilir matematik" yapma çabasının bir örneğidir. Konveks olmayan fonksiyonlarda tuhaf yerel minimumlar, beklenmedik sıçramalar olabilir; konveks olanlarda durum çok daha temizdir.

Aynı sezgi günlük hayatta da geçerlidir: konveks sistemler (örneğin "ne kadar çok çalışırsan o kadar başarılı olursun" gibi düzgün artan ilişkiler) yönetilmesi kolay; konveks olmayan sistemler (örneğin "biraz kazançlı olmak iyi, ama orta seviyede tuzaklar var, sonra büyük ödüller var" gibi) tuzaklarla doludur. İnsan zihninin pek çok hatası, konveks olmayan bir gerçekliği konveksmiş gibi düşünmekten kaynaklanır.

Bir sonraki sefer bir matematik probleminin "zor" olup olmadığını tartarken, fonksiyonun konveks olup olmadığına bakın. Konveksse rahatlayın — matematik sizin yanınızda. Değilse, dikkatli olun.