Flow Matching: Diffusion'un Daha Temiz Kardeşi

Bir düşünce deneyi

Beyaz bir tuvaliniz var. Onu bir Picasso tablosuna dönüştürmek istiyorsunuz. Hangi yoldan?

• Diffusion (2020): Tuvali rastgele gürültüden başlatın, adım adım gürültüyü temizleyin. 1000 adım sonra tablo çıkar. Her adım: "şu anki gürültülü görüntü → biraz daha az gürültülü görüntü."
• Flow Matching (2022): Gürültüden tabloya düz bir çizgi çizin. Her noktada "şu anda hangi yöne git?" diye sorun. 4–50 adımda iş biter.

İki yöntem de çalışır. İkincisi daha basit ve hızlıdır. Bu yüzden 2024 sonrasında Stable Diffusion 3, Sora, Flux hep flow matching kullanır.

Matematiksel iskelet

İki dağılımınız var: $p_0$ (basit, mesela standart normal gürültü) ve $p_1$ (karmaşık, mesela kedilerin resimleri). Soru: $p_0$'dan $p_1$'e nasıl gideriz?

Flow matching cevabı: bir vektör alanı $v_t(x)$ öğren — her zaman noktası $t \in [0,1]$ ve her uzay noktası $x$ için "hangi yöne git" der. Bir veri noktası bu alanı izleyerek hareket eder:

$$\frac{dx}{dt} = v_t(x)$$

Eğer $v_t$ doğruysa, $t=0$'da gürültü olan parçacık $t=1$'de bir kedi resmine ulaşır.

Püf nokta: doğrudan eğit

Diffusion'da hedef "gürültüyü tahmin et" — dolaylı. Flow matching'te hedef daha düz:

1. Bir veri örneği $x_1$ al (gerçek kedi).
2. Bir gürültü örneği $x_0$ al.
3. Aralarına düz çizgi çek: $x_t = (1-t) x_0 + t x_1$.
4. Bu çizginin doğru yönü: $v_t^* = x_1 - x_0$ (sabit hız).
5. Sinir ağına $x_t$ ve $t$ ver, $v_t^*$ tahmin etmesini iste. Kayıp: $\|v_\theta(x_t, t) - (x_1 - x_0)\|^2$.

Bu kadar. Diffusion'daki karmaşık gürültü çizelgeleri, score fonksiyonu hesapları yok.

Neden hızlı

Diffusion eğitildiği "rota" karmakarışıktır — gürültüden veriye giden yol kıvrımlıdır. Örnekleme sırasında bu rotayı 50–1000 küçük adımda izlemek gerek.

Flow matching düz çizgi rotaları öğrenir. Düz bir çizgide ilerlemek için 4–10 adım yeter. Test zamanı 10–100 kat hızlı.

"Conditional" püf noktası

Yukarıdaki şema iki nokta arasında düz çizgi çiziyor. Ama gerçekte $v_t^*$ "ortalama yön" olmalı — aynı $x_t$'ye birçok farklı $(x_0, x_1)$ çiftinden gelinebilir.

Lipman ve ark. (2022) gösterdi: koşullu kayıp (her örnek için kendi düz çizgisi) marjinal kayıp ile aynı gradyanı verir. Yani sinir ağı, bir sürü düz çizgiyi tek tek eğitse de doğru "ortalama akışı" öğrenir. Bu eşitlik tüm yöntemi geçerli kılar.

Optimal taşıma bağlantısı

Flow matching aslında optimal transport (OT) probleminin sürekli versiyonudur. Monge–Kantorovich problemi sorar: $p_0$'dan $p_1$'e malları taşımanın en ucuz yolu nedir? Cevap: $p_0$ ve $p_1$'in birleşik dağılımında "kestirme" çizgiler.

Eğer $(x_0, x_1)$ çiftlerini OT'ye göre eşleştirirseniz, çizgileriniz birbirini kesmez, akış çok temiz olur. Bu OT-CFM (Optimal Transport Conditional Flow Matching) — 2023'ün popüler varyantı.

Endüstri kullanımı

• Stable Diffusion 3 (2024): Rectified Flow Matching, 1024×1024 görüntü, daha az adım.
• Sora (2024, OpenAI): Video için flow matching; 60 saniyelik tutarlı klipler.
• Flux (2024, Black Forest Labs): State-of-the-art açık kaynak; Stable Diffusion'ın yeni rakibi.
• AlphaFold 3 (2024): Protein katlanması için flow matching modülü; AlphaFold 2'nin difüzyon benzeri yerine.

Diffusion vs. Flow Matching — özet karşılaştırma

Kriter	Diffusion	Flow Matching
Eğitim hedefi	Gürültü tahmini	Vektör alanı (yön)
Rota şekli	Kıvrımlı	(Yaklaşık) düz
Örnekleme adımı	50–1000	4–50
Matematik	Stokastik SDE	Deterministik ODE
Uygulama	DALL-E 2, SD 1/2	SD 3, Sora, Flux

İkisi de aynı problemin (gürültüden veriye dönüştürme) iki dili. Flow matching daha temiz, daha hızlı; bu yüzden 2024'ten itibaren yeni modeller hep flow matching tabanlı.

Sade benzetme

Diffusion: "Bir labirentin içinden çıkmak için 1000 küçük dönüş yap."
Flow matching: "Hedefe düz çizgi çek, 10 adımda var ol."

Bağlam

Bu tema [[diffusion-modelleri-gurultu-ile-resim-yapmanin-sasirtici-yolu]] üzerine kurulmuştur. Üretken AI'ın bütün manzarası için [[generative-ai-modern-uretici-modellerin-haritasi]] ve modern transformer mimarileri için [[transformer-attention-is-all-you-need]].