vLLM este motorul de inferență open-source de înaltă performanță dezvoltat inițial la UC Berkeley, folosit pentru inferența și servirea modelelor mari de limbaj (LLM).
Prin introducerea algoritmului PagedAttention (care gestionează memoria KV Cache similar memoriei virtuale dintr-un sistem de operare) și a tehnicii de Continuous Batching, vLLM a obținut în testele din anunțul oficial (2023) un throughput de până la 24 de ori mai mare decât Hugging Face Transformers.
Cum este organizat acest ghid
Ghidul acoperă toate cele 66 de concepte, comenzi de server, algoritmi de atenție și tehnici de scalare din documentația oficială vLLM, structurate în 4 domenii esențiale:
- Server & Invocare CLI: vllm serve (plus referința argumentelor), chat, complete, run-batch, bench (latency, serve, throughput), collect-env, download-kernels, preload, launch render, API-ul compatibil OpenAI, LoRA, modele multimodale și Docker.
- Programare & SDK: clasa LLM pentru inferență offline și structured outputs (fostul guided decoding).
- Mecanisme & Arhitectură: PagedAttention, continuous batching, chunked prefill, decodare speculativă (
--speculative-config) și disaggregated prefill. - Scalare GPU, Hardware și Cuantizare: Paralelism tensorial (–tensor-parallel-size), memoria GPU (gpu-memory-utilization), max-model-len, cuantizare, dtype și paralelism de pipeline.
Fiecare pagină are sintaxa, opțiunile și exemple luate din documentația oficială.
Discuții, Întrebări & Coduri / Prompturi vLLM & Infrastructură LLM
Ai o nelămurire despre modulul vLLM & Infrastructură LLM, cauți o soluție sau vrei să împărtășești un prompt sau fragment util de cod? Trimite mai jos contribuția ta.
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.