vllm run-batch în vLLM & Infrastructură LLM

vllm run-batch -i FIȘIER_INTRARE -o FIȘIER_IEȘIRE --model MODEL [--output-tmp-dir DIR] [--enable-metrics] [ARGUMENTE]

Ce face vllm run-batch

vllm run-batch citește un fișier în formatul OpenAI Batch (câte un obiect JSON pe rând, cu custom_id, method, url și body), rulează cererile prin engine și scrie câte un rezultat pe rând. Este formatul de fișier, nu API-ul REST Batch complet.

Ghidul exemplului listează ca suportate endpoint-urile /v1/chat/completions, /v1/embeddings și /v1/score. Intrarea și ieșirea pot fi fișiere locale sau URL-uri HTTP(S): intrarea se citește cu GET, ieșirea se încarcă cu PUT.

Comanda acceptă argumentele de engine și opțiunile de frontend ale lui vllm serve (chat template, unelte, LoRA etc.). Cu --enable-metrics pornește un server de metrici Prometheus.

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
-i, --input-file	Calea sau URL-ul fișierului de intrare (local sau http/https).
-o, --output-file	Calea sau URL-ul fișierului de ieșire; un URL trebuie să accepte HTTP PUT.
--output-tmp-dir	Directorul în care se scrie ieșirea înainte de încărcarea la URL.
--enable-metrics	Activează metricile Prometheus. Implicit dezactivat.
--host / --port	Adresa și portul serverului de metrici (implicit portul 8000); doar cu --enable-metrics.
--url	Depreciat; înlocuit de --host.
[argumente de engine și frontend]	Aceleași ca la vllm serve (de exemplu --model, --chat-template, --lora-modules).

Exemple practice

Exemplul 1: Fișierul de intrare din exemplul oficial

{"custom_id": "request-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "meta-llama/Meta-Llama-3-8B-Instruct", "messages": [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": "Hello world!"}],"max_completion_tokens": 1000}}
{"custom_id": "request-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "meta-llama/Meta-Llama-3-8B-Instruct", "messages": [{"role": "system", "content": "You are an unhelpful assistant."},{"role": "user", "content": "Hello world!"}],"max_completion_tokens": 1000}}

Exemplul 2: Rulare cu fișier local

vllm run-batch \
    -i examples/features/openai_batch/openai_example_batch.jsonl \
    -o results.jsonl \
    --model meta-llama/Meta-Llama-3-8B-Instruct

Exemplul 3: Intrare de la un URL

vllm run-batch \
    -i https://raw.githubusercontent.com/vllm-project/vllm/main/examples/features/openai_batch/openai_example_batch.jsonl \
    -o results.jsonl \
    --model meta-llama/Meta-Llama-3-8B-Instruct

Greșeli frecvente și bune practici

• Pui în fișier un model diferit de cel pornit cu --model.
• Dai ca ieșire un URL care nu acceptă PUT; folosește un fișier local sau --output-tmp-dir plus un URL care acceptă încărcarea.
• Folosești un model protejat (de exemplu Llama 3) fără autentificare. Exemplul oficial cere hf auth login și acceptarea condițiilor modelului.

Comenzi înrudite

• vllm-python-engine
• vllm-serve
• vllm-openai-api