vLLM & Infrastructură LLM: comenzi, scurtături și ghid practic

vLLM este motorul de inferență open-source de înaltă performanță dezvoltat inițial la UC Berkeley, considerat standardul de aur în industrie pentru servirea modelelor mari de limbaj în producție la scară largă.

Prin introducerea algoritmului revoluționar PagedAttention (care gestionează memoria KV Cache similar memoriei virtuale dintr-un sistem de operare) și a tehnicii de Continuous Batching, vLLM atinge un throughput (tokeni generați per secundă) de 10 până la 24 de ori mai mare decât implementările tradiționale Hugging Face.

Cum este organizat acest ghid

Am structurat cele 15 opțiuni, concepte și mecanisme cheie în 3 domenii de infrastructură:

• Server & Invocare CLI: vllm serve, endpoint-uri compatibile OpenAI API, SDK nativ Python și rulare în container Docker.
• Mecanisme & Arhitectură: PagedAttention (memorie paginată), Continuous Batching (programare la nivel de iterație) și decodare ghidată cu schemă JSON.
• Scalare GPU, Hardware și Cuantizare: Paralelism tensorial (–tensor-parallel-size), alocare VRAM, max-model-len, cuantizări AWQ/FP8, precizie dtype, paralelism de pipeline și inferență speculativă.

Apasă pe oricare opțiune de mai jos pentru explicația tehnică, sintaxă și comenzi gata de rulat în producție.

# Pe macOS (Apple Silicon), vLLM rulează în modul experimental CPU/Metal din sursă:
brew install uv git
git clone https://github.com/vllm-project/vllm.git && cd vllm
uv venv --python 3.11 && source .venv/bin/activate
uv pip install -r requirements-cpu.txt
VLLM_TARGET_DEVICE=cpu python setup.py install

# Pe Windows, vLLM se rulează prin WSL2 (Ubuntu) sau Docker Desktop cu suport NVIDIA GPU:
docker run --gpus all -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  --ipc=host vllm/vllm-openai:latest \
  --model Qwen/Qwen2.5-7B-Instruct

# Metoda recomandată pe Linux cu GPU NVIDIA (folosind uv pentru viteză maximă):
curl -LsSf https://astral.sh/uv/install.sh | sh
uv venv vllm-env --python 3.12 && source vllm-env/bin/activate
uv pip install vllm

# Pornirea serverului compatibil OpenAI pe portul 8000:
vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192

# Pentru a descărca modele cu licență (ex: Meta Llama 3.3) de pe Hugging Face:
export HF_TOKEN="hf_..."

# Protejarea propriului tău server vLLM cu o cheie API:
vllm serve Qwen/Qwen2.5-7B-Instruct --api-key "cheie-secreta-interna"