vllm serve în vLLM & Infrastructură LLM

vllm serve [MODEL] [--host HOST] [--port 8000] [--uds CALE] [--api-key CHEIE] [--config config.yaml] [ARGUMENTE...]

Ce face vllm serve

vllm serve pornește serverul API compatibil OpenAI. Modelul se dă ca prim argument: un ID Hugging Face sau o cale locală. Serverul ascultă implicit pe http://localhost:8000, găzduiește un model o dată și implementează, printre altele, listarea modelelor (/v1/models), Chat Completions și Completions.

Implicit serverul aplică generation_config.json din repository-ul modelului, dacă există, deci unele valori de eșantionare vin de la autorul modelului. Pornește cu --generation-config vllm ca să folosești valorile vLLM. Chat template-ul implicit este cel din tokenizer.

Comanda are 316 argumente (vezi pagina de referință). vllm serve --help=all le listează pe toate, --help=ModelConfig un grup, --help=max-num-seqs unul singur, iar --help=max caută după cuvânt. Argumentele se pot citi și dintr-un fișier YAML cu --config; linia de comandă are prioritate.

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
MODEL	ID-ul Hugging Face sau calea modelului (echivalent cu --model).
--host	Adresa pe care ascultă serverul.
--port	Portul. Implicit 8000.
--uds CALE	Unix domain socket; dacă este setat, host și port sunt ignorate.
--api-key CHEIE	Cheia cerută în antet (se poate da și prin VLLM_API_KEY; mai multe chei pentru rotație).
--served-model-name NUME	Numele modelului în API (implicit valoarea lui --model).
--config FIȘIER	Fișier YAML cu argumente.
--generation-config vllm	Nu aplică generation_config.json al modelului.
--help=all | GRUP | ARGUMENT | CUVÂNT	Ajutorul complet, pe grup, pe argument sau căutare.

Exemple practice

Exemplul 1: Pornire cu un model

vllm serve meta-llama/Llama-2-7b-hf

Exemplul 2: Alt port

vllm serve meta-llama/Llama-2-7b-hf --port 8100

Exemplul 3: Pe un Unix domain socket

vllm serve meta-llama/Llama-2-7b-hf --uds /tmp/vllm.sock

Exemplul 4: Verificarea serverului

Exemplul din Quickstart: pornire și listarea modelelor.

vllm serve Qwen/Qwen2.5-1.5B-Instruct

curl http://localhost:8000/v1/models

Exemplul 5: Argumente din fișier

vllm serve --config config.yaml

Greșeli frecvente și bune practici

• Te bazezi doar pe --api-key. Cheia protejează căile /v1, /v2 și /inference; /invocations și alte endpoint-uri rămân neautentificate. Documentația recomandă, de exemplu, un reverse proxy.
• Expui serverul pe 0.0.0.0 fără restricții de rețea. Accesul din browser de pe alte origini (CORS) este oprit implicit, dar API-ul rămâne accesibil din rețea.
• Te miri că răspunsurile diferă de așteptări fără parametri de eșantionare: se aplică generation_config.json al modelului. Folosește --generation-config vllm dacă vrei valorile vLLM.

Comenzi înrudite

• vllm-serve-argumente
• vllm-openai-api
• vllm-chat
• gpu-memory-utilization
• vllm-docker