Phase 08: Generative AI

Akış Düzleşimi ve Düzeltme Akışları

Type: Build

Languages: Python, TypeScript

Prerequisites: Phase 8 · 06 (DDPM), Phase 1 · Calculus

Time: ~45 minutes

Sorun

DDPM'nin ters süreci, 1000 adımlık bir stohastik yürüyüşten $\mathcal{N}(0, I)$Bu nedenle, bu işlemin bir sonraki aşamasında, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir sonraki aşamaları belirlemek için, bir aşamaları belirleme yapmak için, bir aşamaları belirlemeyi belirlemeyi gerektir.

Eğer modelin sesden veriye giden yolu düz çizgi olsaydı,t=1- ...$t=0$Akış eşleşimi bunu doğrudan oluşturur:x_1 \sim \mathcal{N}(0, I)- ...x_0 \sim \text{data}, vektör alanı trenle$v_\theta(x, t)$Zaman türevine eşleşmek için, sonuçta entegre.

Düzeltilmiş akış (Liu 2022) daha da ileriye gidiyor: adım adım bir reflow prosedürü ile yolları düzeltir ve bu da gittikçe daha yakın bir lineer ODE üretir.

Anlaşım

!Flow matching: straight-line interpolation between noise and data

Düz çizgi akışı

Define:

nerede$x_0 \sim \text{data}$ve $x_1 \sim \mathcal{N}(0, I)$Bu düz çizgi boyunca zaman türevini sabit:

Nöral vektör alanını tanımlayın $v_\theta(x_t, t)$ve bu türevle eşleşmesi için eğitilmiştir:

Bu da conditional flow matchingBu eğitim simülasyonsızdır: ODE'yi asla açmıyorsunuz.$(x_0, x_1, t)$ve geri çekilme.

Örnekleme

Sonuçta, öğrenilen vektör alanını geriye zaman içinde entegre edin:

Başlayın .x_1 \sim \mathcal{N}(0, I), Euler-adımı aşağıya$t=0$- Evet .

Düzeltilmiş akış (Liu 2022)

Düz çizgi akışı çalışır ama öğrenilen yollar aslında düz değil onlar eğri çünkü birçok $x_0$Aynı yere haritası yapabilir .$x_1$Düzeltilmiş akışın yeniden akış aşaması:

1. Tren akış modeli v_1- Kesinlikle.
2. Örnek N çift $(x_1, x_0)$Entegre ederek v_1-x_1İnişine kadar$x_0$- Evet .
3. Tren$v_2$Bu çiftler artık "ODE eşleşmiş" olduklarından, aralarındaki düz çizgi interpolant gerçekten daha düz.
4. Tekrar ediyorum.

Pratikte 2 reflow iterasyonları, 2-4 adım sonucu çıkarmayı mümkün kılar. SDXL-Turbo, SD3-Turbo, LCM hepsi akışla eşleşen destil modellerdir.

Neden bu 2024'te görüntüler için kazandı

Üç neden:

1. Simulation-free training eğitim sırasında hiçbir ODE çıkmaz, uygulamak önemsiz.
2. Better loss geometry Düz yollar tutarlı bir sinyal-gürültü ile karşılaştırılırken DDPM ε-kayıp programın kenarlarında kötü SNR'ye sahiptir.
3. Faster inference SDXL-Turbo kalitesiyle 4-8 adım; tutarlılıklı destillasyonla 1 adım.

Akış eşleşimi vs DDPM tam bağlantı

Gaussian koşullu bir yolla akış eşleşmesi, belirli bir gürültü programı ile * difüsiyondır.$x_t = \alpha(t) x_0 + \sigma(t) x_1$Zamanlama ve akış eşleşimi , Stratonovich ' in reformülasyonu ile $v = \alpha' \cdot x_0 - \sigma' \cdot x_1$Bu ikisi Gaussian yolları için cebirsel olarak eşittir.

Akış eşleşimi ne ekledi: hedefin netliği (sıradan bir hız), temiz bir kayıp ve Gaussian olmayan interpolantlarla deney yapma izni.

Yapın

code/main.py1D akış eşleşmesini iki modlu Gaussian karışımı üzerinde uyguluyor.$v_\theta(x, t)$Bu, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelik yaparak, bir incelemede, bir incelemede, bir incelemede, bir incelik yaparak, bir incelemede, bir incelemede, bir incelemede, bir incelemede, bir incelemede, bir incelemede, bir incelemede, bir incelemede, bir incelemede, bir şekilde, bir şekilde, bir şekilde, bir şekilde, bir şekilde, bir bir şekilde, bir şekilde, bir şekilde, bir şekilde, bir bir şekilde, bir şekilde, bir şekilde, bir şekilde, bir şekilde, bir şekilde, bir şekilde, bir bir şekilde, bir şekilde, bir şekilde, bir şekilde, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir, bir

Adım 1: Eğitim kaybı

def train_step(x0, net, rng, lr):
    x1 = rng.gauss(0, 1)
    t = rng.random()
    x_t = t * x1 + (1 - t) * x0
    target = x1 - x0
    pred = net_forward(x_t, t)
    loss = (pred - target) ** 2
    # backprop + update

Adım 2: Çok Adımlı Tahmin

def sample(net, num_steps):
    x = rng.gauss(0, 1)
    for i in range(num_steps):
        t = 1.0 - i / num_steps
        dt = 1.0 / num_steps
        x -= dt * net_forward(x, t)
    return x

Adım 3: Adım sayısını karşılaştır

4 adımlı örnekleme cihazının 20 adımlı kaliteye eşleşmesini bekleyin.

Tuzaklar

• Time parameterization.Akış eşleşimi kullanımı t \in [0, 1]- Evet .$t=0$Verilerde,$t=1$DDPM kullanıyor t \in [0, T]- Evet .$t=0$Verilerde,$t=T$Aynı yönde, farklı ölçekte.
• Schedule choice.Düzeltilmiş akışın düz çizgisi "akış eşleşme" programıdır, ancak daha iyi ölçek kapsamı için cosine veya logit-normal t örneğini kullanabilirsiniz (SD3 bunu yapar).
• Reflow cost.Yeniden akış için çiftleştirilmiş veri kümesini oluşturmak, örnek başına tam bir sonuç geçişidir. Sadece 1-2 adım sonuç almanız gerektiğinde tekrar akış yapın.
• Classifier-free guidance still applies.Sadece değiş .$\epsilon$için$v$Düzsel kombinasyonda: v_{\text{cfg}} = (1+w) v_{\text{cond}} - w v_{\text{uncond}}- Evet .

Kullan

Bir makalede 2025-2026 yıllarında "difüzondan hızlı" dediğinde neredeyse her zaman akış eşleşmesi + destillasyon oluyor.

Gönder

• Kaydet .outputs/skill-fm-tuner.md. Skill, bir difüzyon tarzında model özellikini alır ve onu akışla eşleşen bir eğitim yapılandırmasına dönüştürür: program seçimi, zaman örneklemesi dağılımı (eşit / logit-normal), optimizer, reflow planı, hedef adım sayımı, eval protokolü.

Egzersizler

1. Easy.Çık .code/main.pyve gerçek veri dağıtımına karşı 1 adım vs 20 adım MSE karşılaştırın.
2. Medium.Üniforma ' dan geç .tÖrneklemeyi normal logit'e (t ortasında örneklemeyi yoğunlaştırır) yapılır.
3. Hard.Tek tekrar tekrar uygulamak: çift oluşturmak (x_0, x_1)İlk modeli entegre ederek, çiftler üzerinde ikinci bir modeli eğitmek ve 1 adım örnek kalitesini karşılaştırmak.

Anahtar Terimler

Üretim notu: Flux.1-schnell en hızlı akış eşleşme

Flow matching'in üretim kazancı Flux.1-schnell bir akış eşleşen DiT Flux-dev dereceli kalitesi korurken 1-4 sonuçlandırma adımlarına doğru destillenir. Niels'in "Run Flux on an 8GB machine" not defteri referans dağıtım tarifi: T5 + CLIP kodlaması, kuantistik MMDiT tanımlaması (sharp vs. 50 için 4 adım), VAE kodlaması.

Üretim kuralı: flow-matched base + distillation = the 2026 default for fast text-to-image.Her büyük satıcı bu kombinasyonu gönderir: SD3-Turbo (SD3 + akış + destillasyon), Flux-schnell (Flux-dev + düzeltilmiş akış düzeltmesi), CogView-4-Flash.

Daha Fazla Okumak

• Liu, Gong, Liu (2022). Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow Düzeltilmiş akış.
• Lipman et al. (2023). Flow Matching for Generative Modeling akış eşleşimi.
• Esser et al. (2024). Scaling Rectified Flow Transformers for High-Resolution Image Synthesis SD3, ölçekte düzeltilmiş akış.
• Albergo, Vanden-Eijnden (2023). Stochastic Interpolants FM + yayılımı kapsadığı genel çerçeve.
• Song et al. (2023). Consistency Models 1 aşamalı difüzyon/ akış destilasyonu.
• Sauer et al. (2023). Adversarial Diffusion Distillation (SDXL-Turbo)Turbo varianti.
• Black Forest Labs (2024). Flux.1 models üretimdeki akış eşleşimi.

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.