ControlNet: Stable Diffusion'a "Yön Vermek" için Zarif Bir Mimari

"Stable Diffusion'u yönetmek"

Klasik Stable Diffusion:

• "Bir kedi" → kedi.
• Ama hangi pozda, hangi açıdan? Bilinmez.

İhtiyaç: kontrol.

• Belirli poz.
• Belirli çizgi (sketch'ten boya).
• Belirli derinlik.
• Belirli şablon.

ControlNet (Şubat 2023)

Lvmin Zhang (Stanford doktora):

• Stable Diffusion'a ek bir alt ağ (control branch).
• Pre-trained SD ağırlıkları dondur.
• Sadece control branch eğit.

Sonuç: kontrol edilebilir SD.

Nasıl çalışır?

1. SD ağırlıkları sabit.
2. Kopyala SD encoder'ı.
3. Kopyaya zero convolution ekle → başlangıçta etkisiz.
4. Control görüntüsünü kopyaya ver.
5. Eğit: control görüntü → SD'nin çıkışını etkile.

Zero convolution trick: yavaş yavaş etki kazansın.

Control türleri

Pose

OpenPose iskelet → figür.

Edge

Canny edge → renkli görüntü.

Depth

Depth map → 3D-aware görüntü.

Normal

Normal map.

Segmentation

Semantic seg → renk.

Scribble

Karalama → tam görüntü.

Lineart

Çizim → boyama.

HED

Hierarchical edges.

MLSD

Çizgi geometrik.

Soft edge

PiDi soft.

Reference

Bir referans görüntü stiline uy.

Pratik kullanım

from diffusers import StableDiffusionControlNetPipeline, ControlNetModel
import torch

controlnet = ControlNetModel.from_pretrained(
    "lllyasviel/sd-controlnet-canny"
)
pipe = StableDiffusionControlNetPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    controlnet=controlnet,
).to("cuda")

# Canny edge ile kontrollü üretim
image = pipe(
    "modern bir bina, renkli",
    image=canny_edge_image,
).images[0]

Multi-ControlNet

Birden fazla kontrol aynı anda:

• Pose + Canny.
• Depth + Segmentation.

Her birinin ağırlığı ayarlanabilir.

Avantajlar

Profesyonel kontrol

• Tasarımcı poz vermesi.
• Mimari çizim renklendirmesi.
• Karikatür stili koruması.

Hızlı iterasyon

• Sketch çiz → SD ile renklendir.
• Hızlı prototip.

Tutarlılık

• Karakter pozu sabit.
• Video frame'ler arası tutarlılık.

Sınırlamalar

Kalite

ControlNet biraz detay kaybedebilir.

Eğitim

Her control türü için ayrı model.

Birleştirme

Çoklu control beceriksiz olabilir.

Modern alternatifler

T2I-Adapter

ControlNet'in küçük versiyonu. Daha az parametre.

IP-Adapter

Image prompt: bir görüntüyü "stil" olarak kullan.

Reference-only

Sadece referans image attention paylaşımı.

InstantID

Bir yüz fotoğrafı → tutarlı karakterler.

SDXL ControlNet

SD XL için ayrı ControlNet'ler:

• Daha güçlü SD.
• Aynı kontrol mantığı.

SD 3 ile

SD 3 mimari farklı (DiT) — ControlNet doğrudan uygulanmaz. Yeni teknikler:

• MM-DiT integration.
• FLUX ControlNet (Black Forest Labs).

Modern AI yaratıcı iş akışı

Profesyonel sanatçı:

1. Karakter pozu çiz.
2. Pose ControlNet ile karakter üret.
3. Karakter karakterini koru.
4. Sahne arkaplan ayrıca üret.
5. Birleştir.

İnsan + AI birlikte sanat üretiyor.

Türk uygulamaları

• Türk yaratıcılar: ControlNet ile Türkçe gelişen AI sanat.
• Reklam ajansları: poz kontrolü.
• Türk dijital sanatçılar: Refik Anadol benzeri kontrollü.

Lvmin Zhang

Stanford doktora öğrencisi:

• Çinli-Amerikalı.
• ControlNet doktora çalışması.
• 2023 sonrası dünya çapı tanınma.
• AI sanat topluluğunun kahramanı.

Felsefe

ControlNet temel mesajı: "AI yaratıcılık insanı yerine değil yanında olmalı".

Tasarımcı kontrolü AI üretkenlikle birleşir.

Genç AI mühendisi için ders

ControlNet:

• Pre-trained model + ek branch zarif.
• Zero convolution clever trick.
• Pratik etki maksimum.
• Doktora çalışması dünya değiştirebilir.

Kapanış

ControlNet, Stable Diffusion çağının kontrol devrimi. AI'i tasarımcının emrine verdi.

Bir AI sanat mühendisinin olgunluk işareti: hangi ControlNet, hangi durumda kullanmak.

Yaratıcılık + AI = ControlNet.