vllm launch render în vLLM & Infrastructură LLM

vllm launch render MODEL [--port PORT] [ARGUMENTE vllm serve]

Ce face vllm launch render

vllm launch pornește componente vLLM individuale; documentația curentă descrie componenta render. vllm launch render pornește un server de randare fără GPU, pentru preprocesare și postprocesare.

Folosește același parser ca vllm serve, deci opțiunile de model, frontend și rețea au aceleași reguli. Serverul expune mereu /render și /derender. API-urile de randare includ /v1/completions/render, /v1/chat/completions/render și /v1/responses/render.

Rolul lui: frontend fără GPU, tokenizare dezagregată (de exemplu pentru llm-d sau Dynamo) și engine de tip token-in / token-out. Pe un server vllm serve obișnuit, endpoint-urile de scale-out se activează explicit cu --enable-scale-out.

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
MODEL	Modelul al cărui tokenizer și chat template se folosesc.
--port	Portul serverului de randare.
--help=all	Toate opțiunile componentei.
[argumente vllm serve]	Aceleași opțiuni ca la vllm serve (model, frontend, rețea).

Exemple practice

Exemplul 1: Pornirea componentei

vllm launch render meta-llama/Llama-3.2-1B-Instruct --port 8100

Exemplul 2: Toate opțiunile

vllm launch render --help=all

Greșeli frecvente și bune practici

• Configurezi randerul și workerii de generare cu modele, tokenizere sau chat template-uri diferite; ID-urile de tokeni nu mai corespund promptului primit de model.
• Aștepți ca vllm serve să expună /render implicit. Fără --enable-scale-out, endpoint-urile de scale-out sunt dezactivate.

Comenzi înrudite

• vllm-serve
• vllm-prefill-disaggregation
• vllm-openai-api