Nou Generator de prompt AI — scrie prompturi mai bune pentru ChatGPT, Claude și Gemini →
VLLM

vLLM & Infrastructură LLM: comenzi, scurtături și ghid practic

91 de comenzi 13 categorii Comunitate & Q&A AI

vLLM este motorul de inferență open-source de înaltă performanță dezvoltat inițial la UC Berkeley, folosit pentru inferența și servirea modelelor mari de limbaj (LLM).

Prin introducerea algoritmului PagedAttention (care gestionează memoria KV Cache similar memoriei virtuale dintr-un sistem de operare) și a tehnicii de Continuous Batching, vLLM a obținut în testele din anunțul oficial (2023) un throughput de până la 24 de ori mai mare decât Hugging Face Transformers.

Cum este organizat acest ghid

Ghidul acoperă toate cele 66 de concepte, comenzi de server, algoritmi de atenție și tehnici de scalare din documentația oficială vLLM, structurate în 4 domenii esențiale:

  • Server & Invocare CLI: vllm serve (plus referința argumentelor), chat, complete, run-batch, bench (latency, serve, throughput), collect-env, download-kernels, preload, launch render, API-ul compatibil OpenAI, LoRA, modele multimodale și Docker.
  • Programare & SDK: clasa LLM pentru inferență offline și structured outputs (fostul guided decoding).
  • Mecanisme & Arhitectură: PagedAttention, continuous batching, chunked prefill, decodare speculativă (--speculative-config) și disaggregated prefill.
  • Scalare GPU, Hardware și Cuantizare: Paralelism tensorial (–tensor-parallel-size), memoria GPU (gpu-memory-utilization), max-model-len, cuantizare, dtype și paralelism de pipeline.

Fiecare pagină are sintaxa, opțiunile și exemple luate din documentația oficială.

macOS • Windows • Linux

Ghid de instalare vLLM pe Linux, Windows (WSL2/Docker) și macOS

Pornește un server de inferență LLM de mare viteză compatibil OpenAI API cu PagedAttention.

Cerințe de sistem: GPU NVIDIA (Compute Capability 7.0+: RTX 30xx/40xx/50xx, A100, H100) sau AMD ROCm; Python 3.10–3.12.

Terminal macOS (Homebrew / zsh)
# Pe macOS (Apple Silicon), vLLM rulează în modul experimental CPU/Metal din sursă:
brew install uv git
git clone https://github.com/vllm-project/vllm.git && cd vllm
uv venv --python 3.11 && source .venv/bin/activate
uv pip install -r requirements-cpu.txt
VLLM_TARGET_DEVICE=cpu python setup.py install

Server & Invocare CLI 33 de comenzi

Mecanisme & Arhitectură 11 comenzi

Scalare GPU, Hardware și Cuantizare 16 comenzi

Programare & SDK 6 comenzi

Python SDK și Programare vLLM 4 comenzi

Comenzi CLI și Configurare Server vLLM 5 comenzi

Decodare Ghidată și Generare Structurată 2 comenzi

Monitorizare, Metrics și Observabilitate 2 comenzi

API REST Compatibil OpenAI 4 comenzi

Optimizare Latență și Batching Continuu 2 comenzi

Optimizare Memorie și PagedAttention 2 comenzi

Adaptori Dinamici și Multi-LoRA 1 comandă

Paralelism și Scalare Hardware (vLLM) 3 comenzi

Index complet de comenzi CLI, parametri și endpoint-uri vLLM

Manualul exhaustiv de referință tehnică pentru vLLM: de la comenzi de server (vllm serve), parametri de optimizare VRAM (max-model-len, kv-cache-dtype fp8, chunked prefill) și scalare multi-GPU (TP/PP), până la clasele Python native (LLM, SamplingParams, AsyncLLMEngine), decodare ghidată și endpoint-uri REST compatibile OpenAI:

API REST Compatibil OpenAI (4)

Comandă / Parametru / Componentă Descriere și Aplicabilitate Tehnică
Endpoint-ul REST /v1/chat/completions în vLLM: Standardul Chat Completions Endpoint-ul HTTP principal pentru integrarea transparentă cu SDK-urile OpenAI, LangChain, Cursor și LlamaIndex.
Endpoint-ul REST /v1/completions în vLLM: Completare Text Brută fără Chat Template Generare directă peste un șir de caractere brut, ideală pentru modele de cod, completare inline și clasificare.
Endpoint-ul REST /v1/embeddings în vLLM: Deservirea Modelelor de Reprezentare Vectorială Calcularea paralelă a vectorilor densi de embedding la scară industrială folosind backend-ul vLLM.
Endpoint-ul REST /v1/models în vLLM: Descoperirea Modelelor și Adaptorilor Activi Interogarea numelor modelelor de bază și a adaptorilor LoRA disponibili pentru a fi selectați în interfețele client.

Adaptori Dinamici și Multi-LoRA (1)

Comandă / Parametru / Componentă Descriere și Aplicabilitate Tehnică
Parametrul –lora-modules în vLLM: Deservirea Concomitentă a Multiplelor Adaptori LoRA Încărcarea dinamică a adaptorilor LoRA peste o singură instanță de model de bază la nivel de server.

Comenzi CLI și Configurare Server vLLM (5)

Comandă / Parametru / Componentă Descriere și Aplicabilitate Tehnică
Parametrul –enforce-eager în vLLM: Dezactivarea CUDA Graphs pentru Economie de RAM și Depanare Eliminarea fazei de pre-compilare a grafurilor CUDA pentru a elibera 1-2 GB de memorie VRAM la pornire.
Parametrul –gpu-memory-utilization în vLLM: Controlul Fracțiunii de Memorie VRAM Alocată Stabilirea procentului din memoria plăcii video rezervat pentru greutățile modelului și blocurile PagedAttention.
Parametrul –max-model-len în vLLM: Limitarea Lungimii de Context pentru Optimizare VRAM Reducerea dimensiunii maxime a secvenței pentru a aloca mai mult spațiu KV Cache cererilor concurente.
Comanda vllm complete în CLI: Procesare Batch Offline Direct din Terminal Testarea rapidă sau procesarea în loturi a fișierelor fără a fi nevoie de lansarea unui daemon server HTTP.
Comanda vllm serve în CLI: Lansarea Serverului de Inferență cu Suport OpenAI Inițierea serverului de înaltă performanță cu endpoint-uri compatibile OpenAI pentru chat și completare.

Decodare Ghidată și Generare Structurată (2)

Comandă / Parametru / Componentă Descriere și Aplicabilitate Tehnică
Decodare Ghidată prin guided_choice în vLLM: Clasificare Deterministică pe Opțiuni Finite Restricționarea generării la o mulțime finită de opțiuni pentru clasificare și rutare sigură.
Decodare Ghidată cu Regex în vLLM: Constrângerea Ieșirilor la Tipare Formale Stricte Forțarea LLM-ului să emită doar caractere ce respectă o expresie regulată folosind biblioteca Outlines.

Mecanisme & Arhitectură (11)

Comandă / Parametru / Componentă Descriere și Aplicabilitate Tehnică
Continuous batching (programarea cererilor) Scheduler-ul vLLM adaugă cereri noi în batch-ul activ la fiecare pas, în limita unui buget de tokeni, în loc să aștepte terminarea batch-ului.
Chunked prefill (–enable-chunked-prefill) Împarte prefill-urile mari în bucăți și le grupează cu cererile în decode; în V1 este activ implicit când se poate.
PagedAttention Algoritmul de atenție din vLLM care împarte KV cache-ul fiecărei secvențe în blocuri de dimensiune fixă, stocate necontiguu, ca paginile memoriei virtuale.
Decodare speculativă: –speculative-model (eliminat), înlocuit de –speculative-config Decodarea speculativă se configurează acum doar cu –speculative-config (JSON); vechiul –speculative-model cu –num-speculative-tokens nu mai există.
Dimensiunea Blocurilor de Paginare: –block-size (16 sau 32 Tokeni) În algoritmul PagedAttention, memoria KV Cache este divizată în pagini de dimensiune fixă. Opțiunea –block-size stabilește numărul de tokeni alocați per bloc (implicit 16). Valoarea 16 minimizează fragmentarea internă de memorie, în timp ce 32 optimizează eficiența transferului pe plăci GPU mari. # Setare blocuri de 32 tokeni pentru GPU-uri A100/H100: vllm serve meta-llama/Meta-Llama-3.1-70B-Instruct –block-size […]
Optimizarea CUDA Graph Capture: Reducerea Latenței CPU Overhead CUDA Graph Capture înregistrează secvența de kernel-uri GPU executate în faza de decodare și o rulează ca o singură operațiune atomică din driverul NVIDIA, eliminând complet overhead-ul apelurilor succesive din runtime-ul Python și CPU. Beneficiul CUDA Graphs în vLLM: – Fără grafuri: CPU-ul trimite 50-100 comenzi individuale per token -> Latență mare. – Cu CUDA […]
Disaggregated prefill (prefill și decode în instanțe separate) Funcție experimentală: o instanță vLLM face prefill-ul, alta decode-ul, iar un connector transferă KV cache-ul între ele.
Automatic Prefix Caching (–enable-prefix-caching) pentru Sisteme RAG și Chat Automatic Prefix Caching (APC) recunoaște automat secvențele identice de tokeni din deschiderea prompturilor (cum ar fi System Prompt-ul comun, documentele lungi RAG sau istoricul anterior al conversației) și refolosește blocurile KV Cache deja calculate în PagedAttention fără a re-evalua rețeaua. # Lansare server cu partajare inteligentă de prefix: vllm serve Qwen/Qwen2.5-7B-Instruct –enable-prefix-caching Scădere masivă a […]
Profilarea Execuției cu PyTorch Profiler în vLLM Prin variabila de mediu VLLM_TORCH_PROFILER_DIR, vLLM activează colectorul PyTorch Profiler pentru a înregistra urmele temporale detaliate ale fiecărui kernel CUDA executat. Fișierele generate pot fi inspectate în Google Chrome la adresa chrome://tracing sau prin TensorBoard. export VLLM_TORCH_PROFILER_DIR=”./profiling_traces” vllm bench latency –model meta-llama/Meta-Llama-3.1-8B-Instruct –batch-size 4 Optimizare profundă: Permite identificarea exactă a blocajelor hardware de transfer de […]
Decodare Speculativă prin Capete Multiple Medusa și Eagle Arhitecturile Medusa și Eagle adaugă câteva capete dense suplimentare (MLP heads) peste ultimul strat al modelului de bază, generând mai mulți tokeni viitori în paralel într-o singură trecere forward, fiind validați printr-un arbore de atenție. Principiul Medusa: Pasul 1: Modelul generează Token N + propuneri pentru N+1, N+2, N+3. Pasul 2: Toți tokenii sunt verificați […]
Decodare Speculativă bazată pe N-Grame Prompt: Fără Model Draft Separat Decodarea Speculativă bazată pe Prompt N-Gram accelerează generarea de text fără a necesita încărcarea unui model draft secundar în memorie. Caută tipare repetitive de N-grame direct în promptul de intrare (util în RAG, analiză de contracte sau editare de cod) și propune mai mulți tokeni verificați simultan. # Accelerare prin N-grame fără consum suplimentar de […]

Monitorizare, Metrics și Observabilitate (2)

Comandă / Parametru / Componentă Descriere și Aplicabilitate Tehnică
Endpoint-ul /health în vLLM: Verificarea Stării de Sănătate în Containere Docker și Kubernetes Endpoint HTTP pentru semnalarea disponibilității serverului (Liveness și Readiness Probes).
Endpoint-ul /metrics în vLLM: Exportul Metricilor de Sistem în Prometheus Monitorizarea utilizării KV cache, numărului de cereri în coadă și a vitezei de generare tokeni.

Optimizare Latență și Batching Continuu (2)

Comandă / Parametru / Componentă Descriere și Aplicabilitate Tehnică
Parametrul –enable-chunked-prefill în vLLM: Reducerea Timpului până la Primul Token (TTFT) Împărțirea prompturilor lungi în bucăți procesate concomitent cu tokenii generați de alte cereri active.
Parametrul –max-num-seqs în vLLM: Controlul Numărului Maxim de Secvențe Concurente Plafonarea numărului de cereri procesate în același pas de batching pentru a garanta calitatea serviciului.

Optimizare Memorie și PagedAttention (2)

Comandă / Parametru / Componentă Descriere și Aplicabilitate Tehnică
Parametrul –enable-prefix-caching în vLLM: Reutilizarea Automată a Prefixelor și Prompturilor de Sistem Salvarea și reutilizarea blocurilor de atenție pentru instrucțiuni de sistem identice și documente partajate în RAG.
Parametrul –kv-cache-dtype în vLLM: Cuantizarea Cache-ului KV în Format FP8 Înjumătățirea consumului de memorie al atenției prin stocarea stărilor Key și Value pe 8 biți în loc de 16 biți.

Paralelism și Scalare Hardware (vLLM) (3)

Comandă / Parametru / Componentă Descriere și Aplicabilitate Tehnică
Parametrul –pipeline-parallel-size (PP) în vLLM: Paralelism de Conductă peste Noduri Rețea Împărțirea secvențială a blocurilor de straturi Transformer pe noduri diferite pentru depășirea limitelor de magistrală.
Parametrul –quantization fp8 în vLLM: Inferență Nativă FP8 pe Arhitecturi Ada și Hopper Rularea modelelor pre-cuantizate pe 8 biți pentru performanță maximă pe hardware Nvidia din generațiile H100 și RTX 4000.
Parametrul –tensor-parallel-size (TP) în vLLM: Distribuirea Straturilor pe Multiple GPU-uri Împărțirea matricelor de greutăți peste 2, 4 sau 8 plăci video conectate prin NVLink pentru modele masive.

Programare & SDK (6)

Comandă / Parametru / Componentă Descriere și Aplicabilitate Tehnică
Structured outputs (fostul guided decoding) cu JSON Schema Constrânge ieșirea modelului la o schemă JSON, o expresie regulată, o listă de variante sau o gramatică; câmpurile guided_* și –guided-decoding-backend au fost eliminate.
Clasa AsyncLLMEngine în Python pentru Aplicații Asincrone de Producție AsyncLLMEngine este nucleul asincron de înaltă performanță din vLLM, conceput pentru integrarea directă în framework-uri Python moderne bazate pe asyncio precum FastAPI, Sanic sau Tornado. Permite transmiterea fluxurilor de tokeni (Streaming) către zeci de mii de clienți concurenți fără a bloca bucla de evenimente. from vllm import AsyncEngineArgs, AsyncLLMEngine, SamplingParams engine_args = AsyncEngineArgs(model=”meta-llama/Meta-Llama-3.1-8B-Instruct”) engine = […]
Căutarea prin Fascicul (Beam Search) pentru Rigoare Matematică Beam Search explorează simultan multiple traiectorii paralele de generare și păstrează cele mai probabile K fascicule (beams) la fiecare pas. Deși este mai costisitor computațional decât eșantionarea greedy, este tehnica ideală pentru traduceri exacte și rezolvarea de teoreme logice. from vllm import SamplingParams # Căutare pe 4 fascicule paralele: sampling_params = SamplingParams( use_beam_search=True, best_of=4, temperature=0.0, […]
Inferență offline în Python (LLM și SamplingParams) Clasa LLM rulează vLLM direct în codul Python, fără server: primește o listă de prompturi și returnează rezultatele.
Clasa SamplingParams în Python: Controlul Fin al Eșantionării SamplingParams este clasa din SDK-ul Python vLLM care configurează toți parametrii matematici de decodare și eșantionare a tokenilor: temperatură, Nucleus Sampling (Top-P), Top-K, penalizări de frecvență și prezență, log-probabilități și secvențe de oprire. from vllm import SamplingParams sampling_params = SamplingParams( temperature=0.2, # Creativitate redusă pentru rigoare tehnică top_p=0.95, max_tokens=1024, presence_penalty=0.5, # Prevenirea repetiției de idei […]
Returnarea Log-Probabilităților Tokenilor: logprobs și prompt_logprobs Parametrii logprobs și prompt_logprobs permit extragerea valorilor logaritmice ale probabilităților atribuite de model tokenilor generați și celor din promptul original. Sunt indispensabili pentru evaluarea gradului de certitudine și detectarea halucinațiilor. from vllm import SamplingParams # Solicită primele 3 alternative probabile pentru fiecare token: sampling_params = SamplingParams(logprobs=3) outputs = llm.generate([„Capitala Franței este”], sampling_params) # Inspecție probabilități: […]

Python SDK și Programare vLLM (4)

Comandă / Parametru / Componentă Descriere și Aplicabilitate Tehnică
Clasa AsyncLLMEngine în vLLM: Motor Asincron pentru Servere Web FastAPI și WebSockets Integrarea vLLM în arhitecturi event-loop asincrone (asyncio) cu streaming token cu token în timp real.
Clasa Python LLM în vLLM: Execuție Batch Offline de Înaltă Performanță Utilizarea directă a motorului vLLM în scripturi Python pentru prelucrarea la cald a miilor de texte fără overhead HTTP.
Metoda LLM.generate în vLLM: Generarea Paralelă cu Batching Dinamic Procesarea listelor de cereri cu alocare continuă a resurselor și bară de progres integrată.
Clasa SamplingParams în vLLM: Parametrii Atomici de Eșantionare și Generare Configurarea hiperparametrilor de selecție a tokenilor: temperatură, top-k, top-p, penalizări și criterii de oprire.

Scalare GPU, Hardware și Cuantizare (16)

Comandă / Parametru / Componentă Descriere și Aplicabilitate Tehnică
Tipul de date (–dtype) Tipul de date pentru greutățile și activările modelului; implicit auto (FP16 pentru modele FP32/FP16, BF16 pentru modele BF16).
Memoria GPU (–gpu-memory-utilization) Fracțiunea din memoria GPU pe care o folosește instanța vLLM pentru model și KV cache; implicit 0.92.
Lungimea contextului (–max-model-len) Lungimea maximă a contextului (prompt plus ieșire) acceptată de server; implicit cea din configurația modelului.
Pipeline parallelism (–pipeline-parallel-size, -pp) Împarte straturile modelului pe mai multe GPU-uri sau noduri, care le procesează în secvență.
Cuantizare (–quantization, -q) Rulează modele cuantizate: checkpoint-urile deja cuantizate sunt detectate automat, iar –quantization alege cuantizarea la încărcare (de exemplu fp8_per_tensor) sau o metodă anume.
Tensor parallelism (–tensor-parallel-size, -tp) Împarte parametrii fiecărui strat al modelului pe N GPU-uri, ca un model prea mare pentru un singur GPU să încapă pe un nod.
Suport Hardware Multi-Vendor: –device (cuda, rocm, cpu, tpu, xpu) Deși a fost optimizat inițial pentru GPU-uri NVIDIA (CUDA), vLLM suportă o gamă largă de acceleratoare hardware prin steagul –device: AMD ROCm (MI250, MI300X), Google TPU v5, Intel Gaudi/XPU și mod exclusiv CPU pentru testare. # Rulare pe accelerator AMD Instinct prin ROCm: vllm serve meta-llama/Meta-Llama-3.1-8B-Instruct –device rocm # Rulare pe procesor CPU (x86_64 / […]
Backend-uri de Execuție Distribuită: –distributed-executor-backend (ray vs mp) Opțiunea –distributed-executor-backend stabilește tehnologia folosită pentru gestionarea proceselor lucrător paralele pe GPU-uri: mp (Python Multiprocessing nativ, ultra-ușor și recomandat pentru un singur server fizic multi-GPU) sau ray (recomandat pentru clustere multi-nod). # Rulare optimizată pe o singură mașină cu 4x GPU prin Multiprocessing: vllm serve meta-llama/Meta-Llama-3.1-70B-Instruct \ –tensor-parallel-size 4 \ –distributed-executor-backend mp Stabilitate: Backend-ul mp […]
Modul Eager vs CUDA Graphs: –enforce-eager pentru Economie de Memorie Implicit, vLLM capturează zeci de grafuri CUDA (CUDA Graphs) la pornire pentru fiecare dimensiune posibilă de batch, ceea ce maximizează viteza dar consumă între 1 și 2 GB de VRAM suplimentar. Steagul –enforce-eager dezactivează capturarea grafurilor, rulând în modul Eager PyTorch. # Economisirea a 1.5 GB VRAM pentru a preveni erorile Out Of Memory: vllm […]
Cuantizarea KV Cache (–kv-cache-dtype): Reducerea Memoriei prin FP8 Prin steagul –kv-cache-dtype fp8, vLLM stochează blocurile de atenție PagedAttention în virgulă mobilă pe 8 biți (FP8) în loc de 16 biți (FP16/BF16), înjumătățind instantaneu memoria VRAM consumată de context și permițând dublarea numărului de utilizatori deserviți concurent. # Cuantizare FP8 pentru KV Cache pe plăci NVIDIA RTX 4090 sau H100: vllm serve mistralai/Mistral-7B-Instruct-v0.3 –kv-cache-dtype […]
Formate de Încărcare a Ponderilor: –load-format (safetensors, pt, npz, dummy) –load-format dictează formatul din care sunt citite greutățile de pe disc: safetensors (rapid și sigur, fără execuție arbitrară de cod), pt (formate clasice PyTorch), sau dummy (inițializare cu ponderi aleatorii pentru benchmark-uri hardware fără descărcarea modelului real). # Testarea vitezei hardware fără a descărca 140 GB de pe internet: vllm bench throughput –model meta-llama/Llama-3.1-70B –load-format […]
Suport BitsAndBytes (–quantization bitsandbytes) pentru Încărcare în 4 Biți vLLM integrează biblioteca bitsandbytes (bnb), permițând cuantizarea dinamică „din zbor” (on-the-fly) a oricărui model Hugging Face standard pe 4 biți (NF4 / FP4) direct la încărcare în memorie, fără a necesita descărcarea unor ponderi pre-cuantizate separat. # Încărcare model complet și compresie automată în NF4: vllm serve meta-llama/Meta-Llama-3.1-8B-Instruct –quantization bitsandbytes Accesibilitate: Permite rularea oricărui model […]
Cuantizarea FP8 a Ponderilor (–quantization fp8) pe Arhitecturi Ada și Hopper Modelele cuantizate în format nativ FP8 (utilizând biblioteci precum AutoFP8 sau Neural Magic) rulează direct pe nucleele Tensor Core de generație a 4-a ale arhitecturilor NVIDIA Ada Lovelace (RTX 4000) și Hopper (H100/H200), oferind viteze de procesare aproape duble față de BF16. # Servire model FP8 cu consum redus de VRAM: vllm serve neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8 \ […]
Kernelul Marlin pentru Cuantizare Ultra-Rapidă pe 4 Biți (GPTQ/AWQ Marlin) Marlin este cel mai rapid kernel de multiplicare matricială cu precizie mixtă (FP16xINT4) conceput pentru plăcile video moderne. În vLLM, modelele comprimate în formate populare AWQ sau GPTQ pot fi rulate prin kernelul Marlin pentru un salt de throughput de până la 3-4x. # Activare automată sau forțată a kernelului Marlin: vllm serve casperhansen/llama-3-8b-instruct-awq –quantization […]
Rularea Clustere-lor Distribuite Multi-Node cu Ray în vLLM Pentru modele gigantice (cum ar fi Llama 3.1 405B sau DeepSeek-V3) care nu încap fizic pe o singură mașină, vLLM utilizează Ray Core pentru a orchestra inferența distribuită pe zeci de noduri conectate prin rețele de mare viteză InfiniBand. # Pe nodul principal (Head node): ray start –head –port=6379 # Conectarea nodurilor secundare (Worker nodes): […]
Izolarea Proceselor Lucrător prin Ray Core în vLLM Steagul –worker-use-ray deleagă crearea și comunicarea între lucrătorii paraleli (GPU workers) către Ray Core, oferind o izolare superioară a proceselor, gestionare automată a erorilor hardware și posibilitatea de a înlocui un nod căzut fără a reporni întregul server. vllm serve meta-llama/Llama-3.1-70B-Instruct \ –tensor-parallel-size 4 \ –worker-use-ray Toleranță la erori: Recomandat pentru clustere mari de producție […]

Server & Invocare CLI (33)

Comandă / Parametru / Componentă Descriere și Aplicabilitate Tehnică
Autentificarea prin Chei API: –api-key pentru Protecția Endpoint-urilor Implicit, serverul vLLM nu impune autentificare. Prin parametrul –api-key, toate cererile HTTP către endpoint-urile /v1/chat/completions, /v1/completions și /v1/models sunt blocate dacă nu conțin header-ul standard Authorization: Bearer <cheie>. # Pornire server securizat cu cheie API: vllm serve meta-llama/Meta-Llama-3.1-8B-Instruct –api-key „sk-vllm-prod-key-9876” # Apel client: curl http://localhost:8000/v1/models \ -H „Authorization: Bearer sk-vllm-prod-key-9876” Protecție esențială: Blochează accesul neautorizat […]
vllm bench Grupul de benchmark-uri vLLM: latența unui batch, throughput-ul unui server online și throughput-ul inferenței offline.
vllm bench latency Măsoară latența generării pentru un singur batch de cereri, offline, fără server.
vllm bench serve Benchmark pentru un server vLLM pornit: trimite cereri dintr-un set de date și raportează throughput-ul și latențele (TTFT, ITL și altele).
vllm bench throughput Măsoară throughput-ul inferenței offline: procesează local un set de prompturi și raportează viteza.
vllm chat Client de chat în terminal care trimite mesaje către un server vllm serve deja pornit, prin API-ul Chat Completions.
Personalizarea Șablonului Jinja de Conversație: –chat-template vLLM folosește șabloane Jinja2 pentru a transforma lista de mesaje dintr-o conversație multi-turn într-un singur șir de text brut formatat corect cu tokeni speciali. Cu –chat-template, poți înlocui șablonul implicit al modelului cu o versiune personalizată. # Exemplu de custom_template.jinja: {% for message in messages %} {{ message[‘role’] }} {{ message[‘content’] }} {% endfor %} […]
vllm (comanda și subcomenzile ei) Comanda vllm pornește și gestionează modele: server API, client de chat, benchmark-uri, procesare în loturi și utilitare de mediu.
vllm collect-env Colectează informații despre mediul în care rulează vLLM.
vllm complete Client în terminal care cere completări de text de la un server vllm serve pornit, prin API-ul Completions.
Endpoint-ul /v1/chat/completions și Parametrii de Streaming SSE Endpoint-ul /v1/chat/completions este conform cu specificația oficială OpenAI. Când parametrul „stream”: true este activat, răspunsul este livrat printr-o conexiune deschisă Server-Sent Events (SSE), emițând bucăți de text pe măsură ce sunt decodate de GPU. curl http://localhost:8000/v1/chat/completions \ -H „Content-Type: application/json” \ -d ‘{ „model”: „meta-llama/Meta-Llama-3.1-8B-Instruct”, „messages”: [{„role”: „user”, „content”: „Salut!”}], „stream”: true }’ Drop-in Replacement: […]
vLLM în Docker (imaginea vllm/vllm-openai) Imaginea oficială vllm/vllm-openai rulează serverul compatibil OpenAI; argumentele de engine se pun după numele imaginii.
vllm download-kernels Instalează kernel-urile precompilate pe care dependențele vLLM (în prezent FlashInfer) le-ar descărca sau compila la pornire.
Servirea Modelelor Dedicate de Embedding prin vLLM (/v1/embeddings) vLLM nu este doar un motor pentru modele de chat, ci suportă și servirea de înaltă performanță a modelelor dedicate de reprezentări vectoriale (Text Embeddings) prin endpoint-ul standard /v1/embeddings, atingând viteze de procesare de mii de documente pe secundă. # Lansare server de embedding: vllm serve BAAI/bge-m3 –task embedding # Apel compatibil OpenAI: curl http://localhost:8000/v1/embeddings […]
Verificarea Stării de Sănătate: Endpoint-ul /health pentru Load Balancere Ruta /health returnează un cod HTTP 200 imediat ce serverul a finalizat încărcarea modelului pe GPU, capturarea grafurilor CUDA și este gata să primească cereri de inferență. Dacă motorul întâmpină o problemă internă, returnează HTTP 503. # Configurare Readiness Probe în Kubernetes: readinessProbe: httpGet: path: /health port: 8000 initialDelaySeconds: 30 periodSeconds: 10 Orchestrare fără erori: […]
Implementarea în Producție pe Kubernetes prin Chart-uri Helm și KServe Pentru implementările la scară largă, vLLM este împachetat ca serviciu scalabil în Kubernetes utilizând chart-ul oficial Helm sau operatorul KServe, beneficiind de auto-scalare orizontală (HPA) pe baza metricilor Prometheus de lungime a cozii de cereri. # Fragment values.yaml pentru Helm: replicaCount: 2 resources: limits: nvidia.com/gpu: 2 model: „Qwen/Qwen2.5-7B-Instruct” extraArgs: – „–tensor-parallel-size=2” – „–enable-prefix-caching” Rezistență enterprise: […]
vllm launch render Pornește serverul de randare fără GPU, care face doar preprocesarea (tokenizare, intrări multimodale) și postprocesarea (detokenizare, parsarea uneltelor și a raționamentului).
Limita Tokenilor per Batch: –max-num-batched-tokens –max-num-batched-tokens plafonează numărul total de tokeni (adunând tokenii din faza de prefill a noilor cereri cu tokenii din faza de decodare) procesați într-o singură iterație de calcul GPU, prevenind blocarea generării atunci când sosește un document gigantic. # Limitare pentru evitarea spike-urilor de latență: vllm serve mistralai/Mistral-7B-Instruct-v0.3 –max-num-batched-tokens 2048 Fluență: Asigură că utilizatorii aflați în […]
Numărul Maxim de Secvențe Concurente: –max-num-seqs –max-num-seqs controlează numărul maxim de secvențe (cereri ale clienților) pe care scheduler-ul de Continuous Batching le poate împacheta simultan într-un singur pas de decodare pe GPU. O valoare mare sporește throughput-ul general, dar mărește cerințele de VRAM. # Configurare pentru server de producție cu volum masiv de interogări: vllm serve meta-llama/Meta-Llama-3.1-8B-Instruct –max-num-seqs 512 Calibrare: Ajustarea […]
Servirea mai multor adaptoare LoRA Un singur model de bază servește mai multe adaptoare LoRA; fiecare cerere alege adaptorul prin câmpul model.
Modele multimodale (imagini, video, audio) Serverul primește imagini, video și audio prin Chat Completions, în formatul OpenAI Vision (image_url cu URL sau date base64).
Serverul compatibil OpenAI (endpoint-uri) API-urile OpenAI implementate de vllm serve și felul în care le apelezi cu clientul OpenAI sau cu curl.
vllm preload Pornește câte un daemon pe GPU care ține greutățile deja cuantizate și împărțite în memoria GPU, ca engine-urile repornite să le preia prin CUDA IPC în loc să le reîncarce de pe disc.
Metrici de Observabilitate Prometheus: Endpoint-ul /metrics vLLM include un exportator nativ Prometheus expus la ruta /metrics. Oferă date vitale de telemetrie: numărul de cereri în coadă, timpul până la primul token (TTFT), timpul per token (TPOT), procentul de ocupare a memoriei GPU și rata de succes a cache-ului PagedAttention. Exemple de metrici Prometheus expuse de vLLM: vllm:num_requests_running{model_name=”…”} 12.0 vllm:num_requests_waiting{model_name=”…”} 3.0 vllm:gpu_cache_usage_factor{model_name=”…”} […]
Servirea Modelelor de Cross-Encoder Re-Ranking prin vLLM Prin task-ul score, vLLM poate servi modele de tip Cross-Encoder (cum ar fi BGE Reranker) pentru a nota relevanța fiecărei perechi (întrebare, document). Beneficiază de PagedAttention și continuous batching pentru re-ordonarea paralelă a sutelor de documente candidate. vllm serve BAAI/bge-reranker-large –task score Rafinare RAG: Reduce latența etapei de re-ranking de la secunde la milisecunde.
Personalizarea Rolului de Răspuns: –response-role Steagul –response-role configurează valoarea câmpului role returnată în obiectul JSON al răspunsului generat de endpoint-ul /v1/chat/completions (implicit assistant). Poate fi util dacă integrezi vLLM în sisteme vechi care așteaptă un alt identificator de rol. vllm serve meta-llama/Llama-3.1-8B-Instruct –response-role asistent_ia Flexibilitate: Asigură interoperabilitate facilă cu standardele interne din corporații.
vllm run-batch Rulează offline un fișier JSONL de cereri în formatul OpenAI Batch și scrie răspunsurile într-un fișier JSONL.
vllm serve Pornește serverul HTTP compatibil OpenAI care servește un model, implicit la http://localhost:8000.
Argumentele vllm serve (referință completă) Toate cele 316 argumente ale comenzii vllm serve din vLLM 0.32, grupate pe secțiuni ca în referința oficială, cu valorile posibile și cele implicite.
Alocarea Memoriei de Schimb pe CPU: –swap-space (GiB) Steagul –swap-space alocă o zonă dedicată de memorie RAM pe sistemul gazdă (CPU) care funcționează ca spațiu de swap pentru PagedAttention. Când memoria VRAM a plăcii video este temporar saturată de un val de cereri, blocurile de context inactive sunt mutate pe CPU și readuse când se eliberează spațiu. # Alocarea a 16 GB de […]
Moduri de Tokenizare: –tokenizer-mode (auto, slow, mistral) –tokenizer-mode specifică biblioteca utilizată pentru parsarea și conversia textului în ID-uri numerice: auto (folosește Hugging Face Fast Tokenizer bazat pe Rust), slow (folosește tokenizer-ul pur Python) sau mistral (pentru modelele Tekken din familia Mistral AI). # Utilizare tokenizer nativ Mistral: vllm serve mistralai/Mistral-Small-Instruct-2409 –tokenizer-mode mistral Compatibilitate: Garantează tokenizarea 100% fidelă pentru vocabularul noilor familii de […]
Executarea Codului Personalizat de pe Hugging Face: –trust-remote-code Multe arhitecturi noi sau modele experimentale (cum ar fi DeepSeek-V2/V3, Falcon sau anumite variante Qwen) folosesc fișiere de modelare Python personalizate stocate în depozitul Hugging Face. Steagul –trust-remote-code permite încărcarea și rularea acestui cod. # Rulare model cu arhitectură custom: vllm serve deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct –trust-remote-code Atenție de securitate: Activează această opțiune doar pentru depozite oficiale verificate.
Limitarea Resurselor Multimodale: –limit-mm-per-prompt Pentru modelele multimodale (VLM) capabile să proceseze imagini, video sau audio, parametrul –limit-mm-per-prompt stabilește numărul maxim de elemente media permise într-o singură cerere, prevenind epuizarea resurselor VRAM cauzată de încărcarea simultană a zeci de imagini. # Limitare la maxim 2 imagini per prompt: vllm serve Qwen/Qwen2-VL-7B-Instruct –limit-mm-per-prompt image=2 Protecție server: Garantează stabilitatea memoriei video în […]
Învață AI • Comunitate & Q&A

Discuții, Întrebări & Coduri / Prompturi vLLM & Infrastructură LLM

Ai o nelămurire despre modulul vLLM & Infrastructură LLM, cauți o soluție sau vrei să împărtășești un prompt sau fragment util de cod? Trimite mai jos contribuția ta.

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.