VLLM Toate comenzile vLLM & Infrastructură LLM

`Suport Cuantizare (–quantization)` în vLLM & Infrastructură LLM

Scalare GPU, Hardware și Cuantizare Nivel: mediu

Rulează modele comprimate pe 4 sau 8 biți la viteză maximă nativă pe nucleele Tensor ale plăcii video.

Sintaxă & invocare

--quantization [awq | gptq | fp8 | bitsandbytes | squeezellm]

Descriere & Utilizare

Cuantizarea reduce mărimea modelului de până la 4 ori, permițând rularea unui model de 70B pe două plăci video în loc de patru.

vLLM include kernel-uri CUDA optimizate special pentru formatele moderne de cuantizare: AWQ (Activation-aware Weight Quantization – considerat cel mai performant ca raport calitate/viteză), GPTQ și noul format nativ FP8 disponibil pe plăcile Ada Lovelace (RTX 4090) și Hopper (H100).

Cum să o reții ușor

💡 Comprimarea unui fișier video 4K masiv într-un format MP4 modern: calitatea vizuală rămâne impecabilă pentru ochiul uman, dar spațiul ocupat pe disc scade de 4 ori.

Opțiuni și parametri tehnici

Încarcă greutățile întregi pe 4 biți și realizează de-cuantizarea dinamică la rulare în memoria cache a nucleelor GPU.

Exemple practice și cazuri de utilizare

vllm serve casperhansen/llama-3-70b-instruct-awq --quantization awq
vllm serve neuralmagic/Meta-Llama-3.1-8B-Instruct-FP8 --quantization fp8

Sfaturi de configurare & capcane

Pentru plăcile din seria Nvidia RTX 3000/4000, formatul AWQ oferă cea mai mare viteză de generare (tokeni/secundă).

Comenzi și ghiduri înrudite

dtype-precision: Comandă asociată din acest modul.
tensor-parallel-size: Comandă asociată din acest modul.
vllm-serve: Comandă asociată din acest modul.