vllm bench latency în vLLM & Infrastructură LLM

vllm bench latency --model MODEL [--input-len 32] [--output-len 128] [--batch-size 8] [ARGUMENTE ENGINE]

Ce face vllm bench latency

vllm bench latency pornește engine-ul local și măsoară cât durează procesarea unui batch: rulează întâi iterații de încălzire, apoi iterațiile măsurate. Pe lângă opțiunile din tabel acceptă toate argumentele de engine (de exemplu --tensor-parallel-size, --enforce-eager, --load-format).

Rezultatele se pot salva în JSON cu --output-json.

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
--input-len	Lungimea promptului în tokeni. Implicit 32.
--output-len	Lungimea ieșirii în tokeni. Implicit 128.
--batch-size	Dimensiunea batch-ului. Implicit 8.
--n	Secvențe generate per prompt. Implicit 1.
--use-beam-search	Folosește beam search. Implicit dezactivat.
--num-iters-warmup	Iterații de încălzire. Implicit 10.
--num-iters	Iterații măsurate. Implicit 30.
--profile	Profilează generarea unui singur batch.
--output-json	Fișierul JSON pentru rezultate.
--disable-detokenize	Nu detokenizează răspunsurile (timpul de detokenizare nu intră în măsurare).
[argumente de engine]	Toate argumentele de engine ale lui vllm serve (grupurile ModelConfig … VllmConfig).

Exemple practice

Exemplul 1: Exemplul din ghidul CLI

vllm bench latency \
    --model meta-llama/Llama-3.2-1B-Instruct \
    --input-len 32 \
    --output-len 1 \
    --enforce-eager \
    --load-format dummy

Greșeli frecvente și bune practici

• Scazi --num-iters-warmup la 0 și primele iterații includ compilarea și capturarea graph-urilor.
• Compari latențe măsurate cu setări diferite de --enforce-eager; modul eager dezactivează CUDA graphs și torch.compile.

Comenzi înrudite

• vllm-bench
• vllm-bench-throughput
• vllm-serve-argumente