Ce este
Ponderile unui model antrenat sunt salvate nativ în format virgulă mobilă de 16 biți (FP16 sau BF16), ceea ce înseamnă că fiecare miliard de parametri ocupă 2 GB de memorie (un model de 70B cere 140 GB de VRAM).
Cuantizarea reduce precizia acestor numere la reprezentări pe 8 biți (INT8) sau 4 biți (INT4). Deși se pierde o fracțiune insesizabilă de precizie matematică, dimensiunea în memorie scade la un sfert, permițând modelului să ruleze pe laptopuri obișnuite.
Analogia din viața reală
Este ca diferența dintre o imagine salvată în format RAW necomprimat de 80 MB și aceeași imagine salvată ca un JPEG de înaltă calitate de 8 MB. Ochiul uman abia dacă poate distinge vreo diferență între cele două, dar pe cardul de memorie încap acum de 10 ori mai multe fotografii.
Cum funcționează tehnic
Ponderile continue sunt mapate într-un set discret de valori întregi folosind factori de scalare (scaling factors) și puncte de zero (zero-points).
Cele mai populare formate moderne:
• GGUF (optimizat pentru execuție pe CPU și Apple Silicon prin llama.cpp).
• AWQ / GPTQ (optimizate pentru rulare ultra-rapidă pe GPU-uri Nvidia).
• EXL2 (cuantizare cu precizie variabilă pe straturi).
Exemple practice și aplicații
- Un model Llama 3 8B în format original FP16 ocupă ~16 GB VRAM; cuantizat la Q4_K_M (4 biți) ocupă doar ~5.5 GB VRAM și rulează fluent pe orice MacBook Air.
- Modelele de 70B pot fi rulate pe o singură placă comercială RTX 3090 / 4090 de 24 GB la o cuantizare de 2.5 – 3 biți.
Greșeli frecvente sau mituri
Cuantizarea pe 4 biți modernă (cum este AWQ sau GGUF Q4_K_M) are o pierdere de performanță (perplexity) sub 1%, fiind aproape indistinguibilă de modelul original pe 16 biți în majoritatea sarcinilor reale.
Termeni înrudiți
lora: Noțiune asociată din ghidul de Modele Mari de Limbaj.kv-cache: Noțiune asociată din ghidul de Modele Mari de Limbaj.speculative-decoding: Noțiune asociată din ghidul de Modele Mari de Limbaj.