vllm bench throughput în vLLM & Infrastructură LLM

vllm bench throughput --model MODEL [--backend vllm] [--dataset-name sharegpt] [--num-prompts 1000] [--input-len N] [--output-len N] [ARGUMENTE ENGINE]

Ce face vllm bench throughput

vllm bench throughput rulează prompturile direct prin engine, fără server HTTP. Backend-ul implicit este vllm; pentru comparație există hf, mii și vllm-chat. Acceptă toate argumentele de engine.

Setul de date implicit este sharegpt; cu --input-len și --output-len sau cu setul random generezi cereri sintetice.

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
--backend	vllm, hf, mii, vllm-chat. Implicit vllm.
--dataset-name	sharegpt, random, burstgpt, hf, prefix_repetition, random-mm, random-rerank, custom_audio. Implicit sharegpt.
--dataset-path	Calea setului de date.
--input-len / --output-len	Lungimea promptului și a ieșirii per cerere; --output-len suprascrie valoarea din set.
--custom-output-len	Tokenii de ieșire pentru seturile custom.
--n	Secvențe per prompt. Implicit 1.
--num-prompts	Prompturi procesate. Implicit 1000.
--num-warmups	Prompturi de încălzire înainte de măsurare. Implicit 0.
--no-oversample	Nu repetă eșantioane când setul este mai mic.
--enable-multimodal-chat	Transformarea multimodală de chat pentru seturile care o suportă.
--hf-max-batch-size / --hf-enable-torch-compile	Batch-ul maxim și torch.compile pentru backend-ul hf.
--async-engine	Folosește engine-ul asincron în locul clasei LLM.
--prequeue-requests	Pune toate cererile în coadă înainte ca scheduler-ul să înceapă (reproductibilitate).
--disable-detokenize	Detokenizarea nu intră în măsurare.
--output-json	Fișierul JSON pentru rezultate.
--profile	Profilare vLLM (cere --profiler-config).
--lora-path / --lora-assignment	Adaptoarele LoRA și alocarea lor: random (implicit) sau round-robin.
--prefix-len	Tokeni de prefix fix înaintea contextului aleator. Implicit 0.
--hf-subset, --hf-split, --hf-name	Opțiunile seturilor Hugging Face.
--prefix-repetition-prefix-len, --prefix-repetition-suffix-len, --prefix-repetition-num-prefixes, --prefix-repetition-output-len	Opțiunile setului prefix_repetition.
--random-input-len, --random-output-len, --random-range-ratio, --random-prefix-len, --random-batch-size, --no-reranker	Opțiunile setului random (implicit 1024 tokeni de intrare și 128 de ieșire).
--random-mm-base-items-per-request, --random-mm-num-mm-items-range-ratio, --random-mm-limit-mm-per-prompt, --random-mm-bucket-config	Opțiunile setului random-mm.
--asr-min-audio-len-sec, --asr-max-audio-len-sec	Filtrarea după durată în setul ASR.
[argumente de engine]	Toate argumentele de engine ale lui vllm serve.

Exemple practice

Exemplul 1: Exemplul din ghidul CLI

vllm bench throughput \
    --model meta-llama/Llama-3.2-1B-Instruct \
    --input-len 32 \
    --output-len 1 \
    --enforce-eager \
    --load-format dummy

Greșeli frecvente și bune practici

• Compari un benchmark offline cu unul de server. throughput nu include rețeaua și serializarea HTTP; pentru server folosește vllm bench serve.
• Uiți să dai --dataset-path pentru sharegpt, setul implicit.

Comenzi înrudite

• vllm-bench
• vllm-bench-serve
• vllm-bench-latency