Diffüzyon modeli, adım adım uygulanan bir gürültüleme sürecini tersine çevirerek yeni veriler — tipik olarak görüntü, ses veya video — üretmeyi öğrenen bir üretken yapay zekâ türüdür. Eğitim sırasında model, gerçek örneklerin birçok küçük adımda Gauss gürültüsüyle kademeli olarak bozulmuş hâlini görür ve eklenen gürültüyü her adımda tahmin etmek için bir sinir ağı eğitilir. Eğitim tamamlandığında model, tamamen rastgele gürültüden başlayıp onu adım adım "gürültüsüzleştirerek" metin istemiyle yönlendirilen fotoğraf gerçekliğinde bir görüntü gibi tutarlı yeni bir örneğe dönüştürebilir.
Bir diffüzyon modeli nasıl çalışır
Eğitim, birbirine bağlı iki aşamada gerçekleşir. İleri süreçte temiz bir eğitim görüntüsü alınır ve sabit sayıda zaman adımı (genellikle 1.000) boyunca küçük miktarlarda rastgele gürültü eklenir; ta ki görüntü statik gürültüden ayırt edilemez hâle gelene kadar. Ters süreçte ise — genellikle bir U-Net olan — bir sinir ağı, her zaman adımında eklenen gürültüyü tahmin etmeyi öğrenir; böylece bu gürültüyü çıkarıp temiz bir görüntüye doğru bir adım geri gidebilir.
Çıkarım aşamasında üretim, saf Gauss gürültüsünden bir örneklemle başlar. Model onu adım adım, yinelemeli olarak gürültüsüzleştirir ve sonunda temiz bir görüntü ortaya çıkar. Üretimi koşullu hâle getirmek için — örneğin "kaykay üstünde bir corgi" istemini bir görüntüye dönüştürmek amacıyla — bir metin kodlayıcı (CLIP veya T5 modeli gibi) istemi gömülü bir vektöre dönüştürür ve diffüzyon ağı, bu gömülü bilgiye dikkat ederek gürültüsüzleştirme yapacak şekilde eğitilir. 2022'de tanıtılan sınıflandırıcısız yönlendirme (classifier-free guidance), aynı modelin koşulsuz olarak da gürültüsüzleştirme yapmasına olanak tanır ve ardından iki tahmin arasında ekstrapolasyon yaparak çıktının isteme ne kadar sıkı bağlı kalacağını keskinleştirir.
Neden önemlidir
Diffüzyon modelleri, Stable Diffusion, DALL·E 3, Midjourney ve Google'ın Imagen'ı dahil olmak üzere bugünün önde gelen metinden görüntüye sistemlerinin bel kemiğidir. GAN'lar gibi daha eski üretken yaklaşımlarla kıyaslandığında genellikle daha yüksek sadakatte ve daha çeşitli örnekler üretirler; yinelemeli örnekleme yapıları sayesinde metin, derinlik haritaları veya eskizler gibi sinyallerle koşullandırılmaları kolaydır. Görüntülerin ötesinde aynı reçete, ses (ör. DiffSinger), video, protein yapısı (ör. RoseTTAFold All-Atom) ve 3B şekil üretimi için kullanılan modellere de güç verir; bu da diffüzyonu modern yapay zekânın en esnek üretken çerçevelerinden biri yapar.
Diffüzyon modellerinin temel türleri
- Denoising Diffusion Probabilistic Models (DDPM'ler) — Ho ve diğerleri (2020) tarafından sunulan, üretimi Gauss gürültüsünün yinelemeli gürültüsüzleştirilmesi olarak çerçevelendiren temel formülasyon.
- Denoising Diffusion Implicit Models (DDIM'ler) — yeniden eğitim gerektirmeden çıkarım süresini kısaltmak için Markov-olmayan adımlar kullanan daha hızlı bir örnekleyici.
- Latent Diffusion Models (LDM'ler) — Stable Diffusion tarafından popülerleştirilmiştir; diffüzyon sürecini piksel uzayı yerine sıkıştırılmış gizli uzayda çalıştırarak hesaplama maliyetini büyük ölçüde düşürür.
- Skor tabanlı modeller (SDE'ler) — diffüzyonu skor eşleştirme ve stokastik diferansiyel denklemlerle buluşturarak esnek örnekleyicilere imkân tanıyan sürekli-zamanlı bir bakış açısı.
- Rectified Flow / Flow Matching — gürültüden veriye daha düz yollar öğrenen ve çok daha az adımda üretim yapılmasını sağlayan daha yeni varyantlar.
Daha derin teknik bir inceleme için Ho, Jain ve Abbeel'in özgün DDPM makalesi ile Rombach ve diğerlerinin latent diffüzyon makalesi standart başlangıç noktalarıdır. Kısacası diffüzyon modelleri, üretimi çok sayıda küçük, öğrenilebilir gürültüsüzleştirme adımına dönüştürür — yaratıcı yapay zekâyı yeniden şekillendiren sade bir fikir.