Cuantizare (–quantization, -q) în vLLM & Infrastructură LLM

--quantization METODĂ | -q METODĂ [--quantization-config JSON] [--kv-cache-dtype fp8]

Ce face Cuantizare (--quantization, -q)

Dacă --quantization lipsește, vLLM citește quantization_config din configurația modelului; dacă nici acolo nu este nimic, modelul este tratat ca necuantizat și tipul greutăților vine din --dtype. Modelele cuantizate static de pe Hugging Face Hub se folosesc direct, fără configurare.

Formatele documentate: AutoAWQ, BitsAndBytes, GPTQModel, Intel Neural Compressor, LLM Compressor (FP8 W8A8, INT4 W4A16, INT8 W4A8, INT8 W8A8), NVIDIA Model Optimizer, Online Quantization, AMD Quark, KV cache cuantizat, TorchAO și FP8 pentru atenția ViT. Biblioteca AutoAWQ este depreciată; fluxul recomandat pentru AWQ este llm-compressor. SqueezeLLM nu mai apare în lista formatelor.

Cuantizarea online transformă un model BF16/FP16 la încărcare, fără date de calibrare: fp8_per_tensor, fp8_per_block, mxfp8 (W8A8 pe SM 100+, Blackwell sau mai nou), mxfp4. Detaliile pe straturi se dau cu --quantization-config, iar backend-ul kernel-urilor cu --linear-backend și --moe-backend. BitsAndBytes cere pluginul vllm-bnb-plugin. Compatibilitatea cu fiecare generație de GPU este în tabelul Supported Hardware din documentație.

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
--quantization, -q	Metoda: de exemplu fp8_per_tensor, fp8_per_block, mxfp8, mxfp4, bitsandbytes, auto_awq.
--quantization-config	Configurație pe tipuri de straturi: linear, moe (fiecare cu weight și activation) și ignore.
--allow-deprecated-quantization	Permite metodele de cuantizare depreciate.
--kv-cache-dtype	Cuantizarea KV cache-ului (de exemplu fp8).
--linear-backend / --moe-backend	Backend-ul kernel-urilor pentru straturile liniare și MoE.

Exemple practice

Exemplul 1: Cuantizare FP8 la încărcare

vllm serve meta-llama/Llama-3.1-8B --quantization fp8_per_tensor
vllm serve meta-llama/Llama-3.1-8B --quantization fp8_per_block

Exemplul 2: MXFP4 doar pentru straturile MoE

vllm serve Qwen/Qwen3.5-35B-A3B --quantization mxfp4 \
    --quantization-config '{"linear":{"activation":null,"weight":null}}'

Exemplul 3: BitsAndBytes 4 biți la încărcare

uv pip install vllm-bnb-plugin
vllm serve huggyllama/llama-7b --quantization bitsandbytes

Exemplul 4: Model AWQ (Python)

from vllm import LLM

llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")

Greșeli frecvente și bune practici

• Dai --quantization pentru un checkpoint deja cuantizat. Metoda se deduce din configurația modelului.
• Folosești --quantization squeezellm din tutoriale vechi; nu mai este în lista formatelor.
• Aștepți viteză mare de la fp8_per_tensor peste tot: documentația spune că activările se scalează dinamic la fiecare pas, deci câștigul de latență este limitat.

Comenzi înrudite

• dtype-precision
• tensor-parallel-size
• gpu-memory-utilization
• vllm-serve-argumente