Endpoint-ul /v1/chat/completions este conform cu specificația oficială OpenAI. Când parametrul "stream": true este activat, răspunsul este livrat printr-o conexiune deschisă Server-Sent Events (SSE), emițând bucăți de text pe măsură ce sunt decodate de GPU.
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "meta-llama/Meta-Llama-3.1-8B-Instruct",
"messages": [{"role": "user", "content": "Salut!"}],
"stream": true
}'Drop-in Replacement: Orice bibliotecă (LangChain, LlamaIndex, OpenAI SDK) poate comuta pe vLLM prin simpla schimbare a base_url="http://localhost:8000/v1".
Întrebări & Exemple practice:
Endpoint-ul /v1/chat/completions și Parametrii de Streaming SSEAi o întrebare despre Endpoint-ul /v1/chat/completions și Parametrii de Streaming SSE sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.