Conectarea la vLLM sau OpenAI API în Open WebUI & RAG Local

Instalare, Docker & Conectare Nivel: începător

Permite utilizarea serverelor vLLM de mare viteză sau a modelelor OpenAI/Claude alături de modelele locale.

Configurare & comandă
OPENAI_API_BASE_URL=http://vllm-server:8000/v1 și OPENAI_API_KEY=cheie_secreta

Descriere & Utilizare

Open WebUI nu este limitat doar la Ollama. Din secțiunea de conexiuni, poți introduce adresa oricărui server compatibil cu standardul OpenAI.

Poți conecta un server intern vLLM (care rulează pe o mașină dedicată cu plăci Nvidia H100) sau poți adăuga propriul tău API Key de la OpenAI, Anthropic sau Groq, oferind utilizatorilor o interfață unificată.

Cum să o reții ușor

💡 Un sistem audio modern care poate reda muzică atât de pe stick-ul USB local, cât și prin streaming online de pe Spotify.

Opțiuni și parametri tehnici

  • Rutează mesajele către API-ul `/v1/chat/completions` specificat.

Exemple practice și cazuri de utilizare

  • Conectare vLLM: `URL: http://192.168.1.50:8000/v1`, `Key: token-vllm`
  • Conectare OpenAI oficial: `URL: https://api.openai.com/v1`, `Key: sk-…`

Sfaturi de configurare & capcane

Poți stabili modele implicite diferite pentru roluri diferite de utilizatori din panoul de administrare.

Comenzi și ghiduri înrudite