dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
VLLM Toate comenzile vLLM & Infrastructură LLM

Endpoint-ul REST /v1/chat/completions în vLLM: Standardul Chat Completions în vLLM & Infrastructură LLM

API REST Compatibil OpenAI vLLM 0.6+ Q&A AI / Distribuie cod

Endpoint-ul HTTP principal pentru integrarea transparentă cu SDK-urile OpenAI, LangChain, Cursor și LlamaIndex.

Sintaxă & invocare 
POST /v1/chat/completions
{"model": "...", "messages": [{"role": "user", "content": "..."}]}

Ruta /v1/chat/completions implementează complet specificația oficială OpenAI Chat API, formatând automat mesajele în funcție de șablonul Jinja (Chat Template) specific arhitecturii modelului rulat.

Exemplu cu curl

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Meta-Llama-3-8B-Instruct",
    "messages": [
      {"role": "system", "content": "Răspunde succint în limba română."},
      {"role": "user", "content": "Care este viteza luminii?"}
    ],
    "temperature": 0.0
  }'

Suportă parametrul stream: true pentru streaming SSE standard.

Învață AI • Comunitate & Q&A

Întrebări & Exemple practice: Endpoint-ul REST /v1/chat/completions în vLLM: Standardul Chat Completions

Ai o întrebare despre Endpoint-ul REST /v1/chat/completions în vLLM: Standardul Chat Completions sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.