Descriere & Utilizare
Marele avantaj al vLLM este compatibilitatea directă cu SDK-urile oficiale OpenAI. Orice program scris în Python, TypeScript, Go sau cURL care funcționează cu `api.openai.com` va funcționa identic cu serverul tău vLLM.
Suportă streaming prin Server-Sent Events (SSE), apeluri de funcții (Tool Calling) și generare de log-probabilities.
Cum să o reții ușor
💡 O priză electrică europeană standard: orice electrocasnic cumpărat din magazin se conectează direct și funcționează fără adaptoare suplimentare.
Opțiuni și parametri tehnici
- Transformă payload-ul JSON primit în structura internă a vLLM și returnează răspunsul identic cu specificația oficială OpenAI.
Exemple practice și cazuri de utilizare
- Exemplu Python:
„`python
from openai import OpenAI
client = OpenAI(base_url=”http://localhost:8000/v1″, api_key=”token-local”)
response = client.chat.completions.create(
model=”meta-llama/Meta-Llama-3-8B-Instruct”,
messages=[{„role”: „user”, „content”: „Salut!”}]
)
print(response.choices[0].message.content)
„`
Sfaturi de configurare & capcane
Poți seta o cheie de autentificare sigură la pornire folosind steagul --api-key secret123.
Comenzi și ghiduri înrudite
vllm-serve: Comandă asociată din acest modul.vllm-python-engine: Comandă asociată din acest modul.guided-decoding-json: Comandă asociată din acest modul.