Tekil Değer Ayrışması (SVD): Matris Cebrinin İsviçre Çakısı

Her matris üç matrise ayrılır

Bir $m \times n$ matris $A$ alın. Şaşırtıcı gerçek:

$A = U \Sigma V^T$

Burada:

• $U$: $m \times m$ ortogonal matris (sütunlar birim ortogonal).
• $\Sigma$: $m \times n$ diyagonal matris — pozitif tekil değerler.
• $V$: $n \times n$ ortogonal matris.

Bu, tekil değer ayrışması (Singular Value Decomposition, SVD). Her matris için mevcut.

Geometrik anlam

$A$'nın etkisi 3 adım:

1. Dönme ($V^T$): koordinat sistemini döndür.
2. Ölçek ($\Sigma$): her eksende farklı uzat veya kısalt.
3. Dönme ($U$): tekrar döndür.

Yani her lineer dönüşüm = döndür-uzat-döndür.

Eigendeğer ayrışması bu ayrışım sadece kare ve diyagonelleştirilebilir matrisler için çalışır. SVD her zaman çalışır.

Tekil değerler $\sigma_i$

$\Sigma$'nın diyagonalindeki pozitif sayılar $\sigma_1 \geq \sigma_2 \geq \ldots \geq 0$.

Bunlar matrisin "önem dereceleri". Büyük $\sigma$ = önemli boyut.

Düşük rank yaklaşımı

SVD'nin sihri: matrisin en iyi düşük rank yaklaşımı:

$A_k = \sum_{i=1}^k \sigma_i u_i v_i^T$

$k$ ilk tekil değeri al, geri kalanı at. Sonuç: en iyi (Frobenius normunda) $k$-rank yaklaşımı.

Eckart-Young teoremi (1936): bu, matematiksel olarak optimal.

Görüntü sıkıştırma örneği

$1024 \times 1024$ siyah-beyaz görüntü = $\sim 10^6$ sayı.

SVD sonrası: en yüksek 50 tekil değer al → $50 \cdot (1024 + 1024 + 1) \approx 10^5$ sayı. 10 kat sıkıştırma, kabul edilebilir kalite.

Modern JPEG, MP3 başka algoritmalar kullanır ama SVD referans noktası.

PCA (Temel Bileşen Analizi)

Bir veri setinin en büyük varyans yönüni bulmak: SVD.

Yöntem:

1. Veriyi merkezleştir.
2. SVD uygula: $X = U\Sigma V^T$.
3. İlk $k$ sütun = ilk $k$ temel bileşen.

PCA — modern istatistik ve makine öğrenmesinin en kullanılan boyut azaltma tekniği.

Tavsiye sistemleri — Netflix Prize

2006-09: Netflix Prize ($1 milyon ödül). En iyi film tavsiye algoritmasını yapana.

Kazanan yaklaşım: matris faktorizasyonu = SVD'nin genelleştirmesi.

Kullanıcı × Film matrisi. Birçok eleman boş (henüz oylanmamış). SVD ile eksik elemanları tahmin et.

Bu, modern Netflix, Spotify, YouTube, Amazon tavsiye sistemlerinin temeli.

Latent semantic analysis (LSA)

Bir doküman koleksiyonu için kelime × doküman matrisi. SVD ile anlamsal yapıyı çıkar.

Modern embedding modeller (Word2Vec, BERT) SVD'nin doğal devamcılarıdır.

Sayısal hesaplama

SVD'nin iyi tanımlı koşullanması vardır. Lineer sistem çözmek için pseudo-inverse:

$A^+ = V \Sigma^+ U^T$

$\Sigma^+$ = $\sigma_i$'lerin tersi (sıfır olanları sıfır bırak). Moore-Penrose pseudo-inverse.

En küçük kareler çözümleri için standart.

Modern uygulamalar

1. Veri sıkıştırma

• JPEG, MP3 öncülü.
• Modern video sıkıştırma (H.264, H.265) SVD-tipi yapılar.

2. Makine öğrenmesi

• PCA.
• Whitening transformations.
• Düşük-rank yaklaşıkları.

3. Sinyal işleme

• Gürültü temizleme.
• Anten array işleme.

4. Bilgisayar görüsü

• Yapı çıkarma (structure from motion).
• Stereo görme.

5. Bilgi geri çıkarma

• Latent semantic indexing.
• Anlamsal arama.

6. Genetik

• Genomik veri analizi.

7. Finansal modelleme

• Faktör modelleri.

8. LLMs

• Düşük-rank adaptasyon (LoRA): modern dil modeli ince ayarı SVD-tipi yapılar.

Tarihsel köken

• Eugenio Beltrami (1873).
• Camille Jordan (1874): bağımsız.
• Sylvester (1889): kare matris durumu.
• Erhard Schmidt (1907): integral operatörler için.
• Eckart-Young (1936): düşük-rank optimality.

Hesap

Standart algoritma: $O(\min(mn^2, m^2n))$.

Modern büyük matrisler için: randomize edilmiş SVD — daha hızlı yaklaşıklar.

Sonuç

Tekil Değer Ayrışması (SVD):

• $A = U\Sigma V^T$ — her matris için mevcut.
• En iyi düşük-rank yaklaşımı (Eckart-Young).
• PCA, tavsiye sistemleri, görüntü sıkıştırma, anlamsal analiz uygulamaları.
• Modern veri biliminin İsviçre çakısı.

Bir tek matris ayrışımı, sayısız modern teknoloji. Modern makine öğrenmesi öğrencisi her gün SVD'yi kullanır — explicit veya implicit.

"Her matris, bir spektrum." Modern lineer cebrin paradigma cümlesi.