vllm (comanda și subcomenzile ei) în vLLM & Infrastructură LLM

vllm {chat,complete,serve,launch,bench,collect-env,download-kernels,run-batch,preload} [ARGUMENTE]

Ce face vllm (comanda și subcomenzile ei)

Instalarea pachetului vllm adaugă comanda vllm. Ghidul oficial CLI listează nouă subcomenzi: chat, complete, serve, launch, bench, collect-env, download-kernels, run-batch și preload. vllm --help afișează lista, iar vllm <subcomandă> --help opțiunile fiecăreia.

serve, run-batch, preload, launch render și bench latency / bench throughput acceptă argumentele de engine (model, dtype, paralelism, cuantizare etc.), aceleași ca la clasa Python LLM. chat și complete sunt clienți: se conectează la un server vllm serve deja pornit.

Argumentele care primesc JSON se pot da întregi sau pe chei: --json-arg '{"key1": "value1"}' este echivalent cu --json-arg.key1 value1. Elementele unei liste se pot adăuga cu +, de exemplu --json-arg.key4+ value3.

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
serve	Pornește serverul API compatibil OpenAI.
chat	Conversație în terminal cu un server pornit (Chat Completions).
complete	Completare de text cu un server pornit (Completions).
launch render	Pornește componenta de randare (preprocesare și postprocesare) fără GPU.
bench latency | serve | throughput	Benchmark-uri de latență, de server online și de throughput offline. Cere pip install vllm[bench].
collect-env	Colectează informații despre mediu.
download-kernels	Instalează kernel-urile precompilate ale dependențelor (în prezent FlashInfer).
run-batch	Rulează un fișier de cereri în format OpenAI Batch și scrie rezultatele în alt fișier.
preload	Pornește daemon-uri care țin greutățile în memoria GPU între reporniri ale engine-ului.
--help	Ajutorul comenzii sau al unei subcomenzi.

Exemple practice

Exemplul 1: Ajutorul general

vllm --help

Exemplul 2: Ajutorul unei subcomenzi

vllm serve --help
vllm bench serve --help

Exemplul 3: Rulare fără mediu permanent, cu uv

Exemplul din Quickstart.

uv run --with vllm vllm --help

Greșeli frecvente și bune practici

• Rulezi vllm chat sau vllm complete fără un server pornit. Ambele trimit cereri către http://localhost:8000/v1 sau către URL-ul dat cu --url.
• Folosești vllm bench fără dependențele suplimentare. Documentația cere pip install vllm[bench].
• Cauți opțiunile în documentații vechi. Lista argumentelor se schimbă între versiuni; vllm serve --help=all arată lista pentru versiunea instalată.

Comenzi înrudite

• vllm-serve
• vllm-serve-argumente
• vllm-chat
• vllm-bench
• vllm-run-batch