U-Net: Tıbbi Görüntülemenin Temel Mimarisi, Stable Diffusion'da Anti

"U" şeklinde ağ

2015'te Almanya'nın Freiburg Üniversitesi'nden Olaf Ronneberger ve ark. U-Net modelini yayımladı. Hedef: biyo-tıbbi görüntü segmentasyonu. Bir MRI taramasındaki tümörü işaretle.

Klasik CNN sınıflandırma yapar: "bu resim kedi/köpek". Segmentasyon farklı: her piksel için tahmin gerek.

U-Net'in adı şeklinden: encoder yukarıdan aşağı, decoder aşağıdan yukarı. Tam bir "U" oluşturur.

Mimari

Encoder (downsampling):

• Konvolüsyon → konvolüsyon → 2x2 max pooling.
• Boyut yarıya, kanal sayısı 2x.
• Her seferinde daha soyut ama daha düşük çözünürlüklü temsil.

Decoder (upsampling):

• Transposed konvolüsyon (2x upsampling) → konvolüsyon → konvolüsyon.
• Boyut iki katına, kanal yarıya.
• Her seferinde daha yüksek çözünürlüklü temsil.

Skip connections: Her encoder katmanından decoder'in aynı seviyesine doğrudan bağlantı. ResNet öncesi bu fikirlerden biri.

Niye U şekli işe yarar

Segmentasyon için iki şey gerek:

1. Yüksek seviye anlam: Bu bir tümör. (encoder verir)
2. Hassas konum: Tam pikselleri biliyor muyum. (decoder + skip connections)

Encoder soyutlama yapar, decoder hassasiyet getirir. Skip connections, encoder'in kaybettiği yüksek çözünürlük bilgilerini geri verir.

Bu birleşim hem anlamlı hem hassas segmentasyon sağlar.

Tıbbi AI'in standardı

U-Net 2015-2024 arasında biyo-tıbbi görüntülemenin standart mimarisidir:

• Tümör segmentasyonu (beyin, meme, kanser).
• Organ segmentasyonu (kalp, karaciğer).
• MRI rekonstrüksiyon.
• Hücre tespiti (histopatoloji).
• Optik retina segmentasyonu (diyabetik retinopati).

Tıbbi AI ürünlerinin büyük çoğunluğu U-Net altyapısı üzerine kuruludur.

3D U-Net

Tıbbi görüntüler genelde 3 boyutlu (CT, MRI hacim). 2016'da 3D U-Net önerildi: 2D konvolüsyon yerine 3D. Aynı U şekli.

Bu, beyin tümörü, akciğer CT taraması gibi 3D görevlerin standardıdır.

Stable Diffusion — büyük sürpriz

2020'lerin başında diffusion modelleri patladı. DDPM (Ho ve ark., 2020) ve Stable Diffusion (2022) — hepsi temelde U-Net kullanır.

Sebep: diffusion modeli her adımda bir resmin gürültüsünü tahmin etmesi gerek. Bu giriş = çıkış aynı boyutta, segmentasyona benzer.

Stable Diffusion U-Net:

• 9 encoder katmanı.
• 9 decoder katmanı.
• Cross-attention (metin prompt'unu görsele bağlamak için).
• Yaklaşık 860M parametre.

Yani: bir tıbbi görüntüleme mimarisi, modern resim üretiminin temeli oldu. Mimarinin disiplinler arası seyahati.

Modern alternatif: DiT

2022'de DiT (Diffusion Transformer) önerildi. Stable Diffusion U-Net yerine transformer kullan.

Avantaj: ölçeklenir. Transformer'in ölçek kuralları daha iyi tanımlı. Sora, Stable Diffusion 3 — DiT mimarisi kullanır.

Yani U-Net diffusion için kademeli olarak transformer'a yerini bırakıyor. Ama tıbbi segmentasyon için hâlâ standart.

Sade ders

U-Net hikâyesinden iki şey:

1. Bir alanın aracı başka alanın temeli olabilir. U-Net tıbbi görüntü için tasarlandı. Stable Diffusion'da görünmez ama merkezdedir. Akademik fikirler disiplinler arası seyahat eder.
2. Skip connection klasik ama güçlüdür. ResNet öncesi U-Net skip connection kullandı. Bu fikir transformer'in residual'larından, modern üretim AI'a kadar her yerde.

Bağlam

ResNet için: [[resnet-derin-aglari-egitebilen-residual-fikri]]. Diffusion için: [[diffusion-modelleri-gurultu-ile-resim-yapmanin-sasirtici-yolu]]. Stable Diffusion için: [[flow-matching-diffusion-un-daha-temiz-kardesi]]. AI tıbbi uygulamalar için: [[daphne-koller-olasiliksal-aklin-stanford-mimari]] (Insitro). Anandkumar PDE için: [[anima-anandkumar-fizik-ve-ai-arasinda-bir-koru]].