Endpoint-ul Compatibil OpenAI (/v1/chat/completions) în llama.cpp: Inferență LLM în C++ & Formatul GGUF

llama-server implementează complet specificația oficială OpenAI Chat Completions API. Orice aplicație scrisă pentru ChatGPT funcționează fără modificări de cod, simplu setând base_url="http://localhost:8080/v1".

curl http://localhost:8080/v1/chat/completions   -H "Content-Type: application/json"   -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
      {"role": "system", "content": "Ești un asistent util."},
      {"role": "user", "content": "Salut, funcționezi?"}
    ],
    "temperature": 0.7
  }'

Suportă streaming Server-Sent Events (SSE) prin transmiterea flag-ului "stream": true.