Lansarea modelului Flux.1 Dev cu 12 miliarde de parametri a adus o calitate foto-realistă uluitoare, dar a creat o barieră hardware majoră: în precizie nativă FP16, modelul depășește 24 GB de memorie VRAM, făcându-l inaccesibil pentru marea majoritate a dezvoltatorilor cu plăci din seriile RTX 3060, 4060 sau 4070.
Extensia ComfyUI-GGUF (dezvoltată de City96) a adaptat tehnologia de cuantizare GGUF din lumea LLM-urilor pentru modelele de difuzie. Prin nodul Unet Loader (GGUF), utilizatorii pot încărca ponderi cuantizate în formatele Q4_K_S, Q5_K_M sau Q8_0 direct în nucleul ComfyUI.
Această optimizare reduce amprenta modelului de la 24 GB la doar 7-10 GB VRAM cu o pierdere practic insesizabilă de detaliu vizual, permițând generarea de imagini Flux la rezoluție de 1024×1024 în mai puțin de 25 de secunde pe o placă video mid-range accesibilă.
Sintaxă, opțiuni și concepte cheie
| Opțiune / Concept | Descriere practică |
|---|---|
Unet Loader (GGUF) |
Nodul specializat ce înlocuiește nodul standard `Load Diffusion Model`. |
Quantization Formats |
Q4_K_S (~7.5 GB VRAM, cel mai rapid), Q5_K_M (~9.5 GB VRAM, echilibru optim), Q8_0 (~13 GB VRAM). |
CLIP Loader (Dual) |
Încărcarea encoder-elor de text (clip_l și t5xxl) tot în versiuni cuantizate FP8/GGUF. |
Offload to CPU |
Gestionarea automată a memoriei ce mută modulele inactive în memoria RAM de sistem. |
Exemple practice și fluxuri
Exemplul 1: Configurarea nodurilor pentru rularea Flux pe GPU de 8 GB VRAM
Cum se înlocuiește loader-ul clasic cu varianta optimizată GGUF.
[Unet Loader (GGUF)] (flux1-dev-Q4_K_S.gguf) ──┐
├──> [KSampler]
[DualCLIPLoader] (clip_l.safetensors + t5-q4.gguf) ┘ │
▼
[Load VAE] (ae.safetensors) ─────────────────────────> [VAE Decode] ──> [Save Image]Rezultat & Impact
Consum maxim VRAM menținut stabil la 7.2 GB pe parcursul întregii generări.Greșeli frecvente și bune practici
- Conectarea unui fișier GGUF la nodul standard `Load Checkpoint` în loc de nodul dedicat `Unet Loader (GGUF)`, rezultând într-o eroare de format binar necunoscut.
- Încărcarea fișierului de text encoder `t5xxl` în format complet FP16 alături de un model GGUF Q4, anulând întreaga economie de memorie.