vllm chat în vLLM & Infrastructură LLM

vllm chat [--url URL] [--model-name NUME] [--api-key CHEIE] [--system-prompt TEXT] [-q MESAJ] [--stats]

Ce face vllm chat

vllm chat generează răspunsuri de chat prin serverul API care rulează deja. Fără argumente se conectează la http://localhost:8000/v1 și folosește primul model din lista returnată de endpoint-ul de modele.

Cu --quick (-q) trimite un singur mesaj, afișează răspunsul și iese, util în scripturi. --stats afișează după fiecare răspuns timpul până la primul token (TTFT) și tokenii pe secundă.

--api-key suprascrie cheia luată din variabilele de mediu și se aplică doar endpoint-urilor compatibile OpenAI.

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
--url URL	URL-ul serverului API compatibil OpenAI. Implicit http://localhost:8000/v1.
--model-name NUME	Modelul folosit. Implicit, primul model din lista serverului.
--api-key CHEIE	Cheia API; suprascrie cheia din variabilele de mediu.
--system-prompt TEXT	Mesajul de sistem adăugat în chat template (pentru modelele care îl suportă).
-q, --quick MESAJ	Trimite un singur mesaj, afișează răspunsul și iese.
--stats	Afișează TTFT și TPS după fiecare răspuns. Implicit dezactivat.

Exemple practice

Exemplul 1: Conectare la serverul local

vllm chat

Exemplul 2: Alt server

vllm chat --url http://{vllm-serve-host}:{vllm-serve-port}/v1

Exemplul 3: Un singur mesaj

vllm chat --quick "hi"

Exemplul 4: Cu statistici de viteză

vllm chat --stats

Greșeli frecvente și bune practici

• Pornești vllm chat înainte ca serverul să termine încărcarea modelului; cererile eșuează până când serverul răspunde.
• Uiți că serverul pornit cu --api-key cere aceeași cheie; o dai cu --api-key.
• Folosești vllm chat cu un model fără chat template. Pentru completare simplă de text folosește vllm complete.

Comenzi înrudite

• vllm-complete
• vllm-serve
• vllm-openai-api