vllm bench în vLLM & Infrastructură LLM

vllm bench {latency,serve,throughput} [ARGUMENTE]

Ce face vllm bench

vllm bench măsoară performanța. Ghidul CLI listează trei subcomenzi: latency (latența unui singur batch), serve (throughput-ul unui server online) și throughput (throughput-ul inferenței offline). Pentru ele instalezi dependențele suplimentare: pip install vllm[bench].

Paginile Benchmark CLI și Parameter Sweeps din documentație mai folosesc vllm bench mm-processor (preprocesarea multimodală), vllm bench startup (timpul de pornire) și vllm bench sweep (serve, serve_workload, startup, plot, plot_pareto), care rulează benchmark-uri pentru mai multe combinații de parametri.

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
latency	Latența unui singur batch de cereri, offline.
serve	Throughput-ul și latențele unui server pornit, cu cereri trimise prin rețea.
throughput	Throughput-ul inferenței offline.
mm-processor	Performanța preprocesării multimodale (din pagina Benchmark CLI).
startup	Timpul de pornire la rece și la cald (din pagina Parameter Sweeps).
sweep serve | serve_workload | startup | plot | plot_pareto	Rulează benchmark-urile pentru combinații de parametri și desenează rezultatele.

Exemple practice

Exemplul 1: Instalarea dependențelor

pip install vllm[bench]

Exemplul 2: Latența unui batch

vllm bench latency \
    --model meta-llama/Llama-3.2-1B-Instruct \
    --input-len 32 \
    --output-len 1 \
    --enforce-eager \
    --load-format dummy

Greșeli frecvente și bune practici

• Rulezi vllm bench serve fără server pornit. Doar latency și throughput pornesc engine-ul singure.
• Compari rezultate obținute cu --load-format dummy cu cele ale modelului real. Greutățile aleatoare servesc doar la profilare.

Comenzi înrudite

• vllm-bench-latency
• vllm-bench-serve
• vllm-bench-throughput
• vllm-cli