Cuantizarea greutăților pe 4 biți (INT4) permite rularea unor modele de 70 de miliarde de parametri pe un singur GPU comercial cu 24GB VRAM (ex: RTX 3090/4090). Principalele două tehnologii de cuantizare post-antrenare sunt:
- GPTQ: Optimizează greutățile prin inversarea matricei Hessian de ordinul doi rând cu rând.
- AWQ (Activation-aware Weight Quantization): Identifică faptul că doar 1% din canalele de activare sunt esențiale și protejează aceste ponderi cheie de cuantizare agresivă, obținând o perplexitate superioară.
- FP8 (E4M3): Format nativ pe plăci NVIDIA Hopper ce menține reprezentarea în virgulă mobilă fără scăderi sesizabile de calitate.
# Încărcare model cuantizat AWQ în vLLM
from vllm import LLM, SamplingParams
llm = LLM(
model="TheBloke/Llama-2-13B-chat-AWQ",
quantization="awq",
dtype="float16"
)
print("Model AWQ încărcat cu succes în memorie VRAM redusă.")AWQ este formatul recomandat de comunitate pentru inferență datorită vitezei optime de decompresie hardware.
Întrebări & Exemple practice:
Implementarea Cuantizării AWQ, GPTQ și FP8 în Serverele de ProducțieAi o întrebare despre Implementarea Cuantizării AWQ, GPTQ și FP8 în Serverele de Producție sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.