Comanda vllm serve în vLLM & Infrastructură LLM

vllm serve <model_sau_cale> [--port 8000] [--host 0.0.0.0]

Descriere & Utilizare

Comanda de pornire oficială vLLM descarcă modelul de pe Hugging Face (sau dintr-un folder local), alocă memoria GPU conform setărilor și lansează serverul FastAPI.

Serverul este pregătit să primească sute de cereri concurente, grupându-le dinamic pentru a maximiza saturarea nucleelor Tensor din GPU.

Cum să o reții ușor

💡 Deschiderea porților unei autostrăzi cu 10 benzi de mare viteză pe care mașinile intră și ies continuu fără niciun ambuteiaj la barieră.

Opțiuni și parametri tehnici

• Descarcă greutățile safetensors din Hugging Face Hub.
• Inițializează alocatorul PagedAttention în VRAM.
• Expune endpoint-urile HTTP REST pe portul configurat (implicit 8000).

Exemple practice și cazuri de utilizare

• vllm serve meta-llama/Meta-Llama-3-8B-Instruct
• vllm serve Qwen/Qwen2.5-7B-Instruct --port 8080 --host 0.0.0.0

Sfaturi de configurare & capcane

Pentru a rula modele protejate (cum e Llama 3), asigură-te că ai setat variabila export HF_TOKEN=hf_... înainte de vllm serve.

Comenzi și ghiduri înrudite

• vllm-openai-api: Comandă asociată din acest modul.
• paged-attention: Comandă asociată din acest modul.
• gpu-memory-utilization: Comandă asociată din acest modul.