Ce înseamnă Model de difuzie
Un model de difuzie este tehnologia din spatele majorității generatoarelor moderne de imagini, precum Stable Diffusion, Midjourney sau DALL-E, și a multor generatoare video. Numele vine din fizică: difuzia este procesul prin care o picătură de cerneală se împrăștie în apă până devine un amestec uniform.
Modelul învață să facă acest proces invers: să pornească de la „amestecul uniform”, adică zgomot aleator, și să ajungă înapoi la o imagine clară.
Cum funcționează
La antrenare, se iau milioane de imagini și li se adaugă treptat zgomot, în multe etape, până nu mai rămâne nimic recognoscibil. Modelul învață, la fiecare etapă, să ghicească ce zgomot a fost adăugat, ca să-l poată scădea.
La generare, modelul pornește de la zgomot pur și îl curăță în pași succesivi (de obicei câteva zeci). Promptul text îl ghidează la fiecare pas, astfel încât din zgomot să apară exact „o pisică pe o bicicletă”, nu orice imagine.
Multe sisteme lucrează nu direct pe pixeli, ci pe o versiune comprimată a imaginii, numită spațiu latent. Așa face Stable Diffusion, motiv pentru care poate rula pe o placă video de acasă.
Pe înțelesul tuturor
Imaginează-ți o fotografie developată din ceață: la început vezi doar un abur gri, apoi apar contururi, apoi forme, iar la final detaliile fine. Modelul de difuzie „developează” imaginea din zgomot, la fiecare pas puțin mai clar.
Exemplu
Când ceri unui generator „un tramvai vechi pe o stradă din Iași, ziua, fotografie realistă” și urmărești previzualizarea, vezi cum imaginea pleacă dintr-o pată neclară și capătă detalii la fiecare pas. Dacă folosești același prompt cu alt punct de pornire aleator (numit seed), obții altă imagine.
De reținut
- Generarea înseamnă eliminarea treptată a zgomotului, ghidată de prompt.
- Mai mulți pași dau de obicei mai multe detalii, dar durează mai mult.
- Aceeași idee se folosește și pentru video, audio și muzică.
Nu confunda
- Model de difuzie vs. GAN: un GAN generează imaginea dintr-o singură trecere, prin competiția dintre două rețele; un model de difuzie o construiește în mulți pași. Difuzia a devenit dominantă pentru imagini fiindcă este mai stabilă la antrenare și mai variată.
Termeni înrudiți
- Text-to-image (generare de imagini): Modele AI care creează imagini noi pornind de la o descriere scrisă, numită prompt.
- GAN (rețele generative adversariale): Metodă de generare în care două rețele concurează: una creează falsuri, cealaltă încearcă să le deosebească de date reale.
- Stable Diffusion: Model de generare a imaginilor din text, publicat în 2022 cu ponderi deschise, care poate rula pe un calculator personal cu o placă video bună.
- Text-to-video: Modele AI care creează clipuri video noi pornind de la o descriere scrisă sau de la o imagine.
- AI generativă: AI care creează conținut nou (text, imagini, sunet, video sau cod) pornind de la o cerere scrisă în limbaj obișnuit.