Conectarea Open WebUI la Ollama în Open WebUI & RAG Local

OLLAMA_BASE_URL=http://host.docker.internal:11434   |   Settings > Admin > Connections > Manage Ollama API Connections

Open WebUI încearcă singur să se conecteze la Ollama. Adresa implicită depinde de instalare: http://localhost:11434 la instalarea Python și în imaginea :ollama, http://host.docker.internal:11434 în imaginea Docker standard. Altă adresă se setează cu OLLAMA_BASE_URL sau direct pe conexiune. Lista de modele vine din endpointul /api/tags al fiecărui server Ollama activ.

Din v0.11.0, setările de administrare sunt în fereastra Settings, secțiunea Admin (vechile linkuri /admin/settings redirecționează acolo). Conexiunile sunt în Settings > Admin > Connections, la Manage Ollama API Connections. Butonul Manage al unei conexiuni deschide dialogul în care descarci un model de pe ollama.com, actualizezi toate modelele (Update All Models), ștergi un model sau creezi unul nou din altul existent, cu prompt de sistem și parametri. Un administrator poate descărca un model și scriindu-i numele în selectorul de modele al unui chat nou.

Poți adăuga mai multe servere Ollama. Când au aceleași ID-uri de modele, Open WebUI împarte cererile între ele prin selecție aleatorie. Prefix ID deosebește modele cu același nume de pe servere diferite, iar Model IDs (Filter) limitează lista la modelele enumerate. Contextul: din Ollama v0.15.5, Ollama alege lungimea implicită după memoria video (4096 tokeni sub 24 GiB), iar parametrul num_ctx setat în Open WebUI o suprascrie; comutatorul lui pornește de la 2048. Pentru documente și căutare web, documentația recomandă un context mai mare.

Concepte cheie și caracteristici

Concept / Parametru	Descriere practică
OLLAMA_BASE_URL	Adresa serverului Ollama; OLLAMA_API_BASE_URL este numele vechi, depreciat.
OLLAMA_BASE_URLS	Mai multe servere, separate prin ;; are prioritate față de OLLAMA_BASE_URL.
ENABLE_OLLAMA_API	Implicit True; False ascunde conexiunile Ollama.
Manage	Dialogul conexiunii: Pull a model from Ollama.com, Update All Models, Delete a model, Create a model, încărcare GGUF (experimental).
Prefix ID	Prefix pentru modelele unei conexiuni (de exemplu remote/).
Model IDs (Filter)	Listă albă de modele; goală înseamnă toate.
num_ctx	Lungimea contextului trimisă la fiecare cerere; suprascrie OLLAMA_CONTEXT_LENGTH de pe server.
OLLAMA_HOST=0.0.0.0	Setare a serverului Ollama: ascultă pe toate interfețele, necesar când Open WebUI e în Docker.
AIOHTTP_CLIENT_TIMEOUT_MODEL_LIST	Cât așteaptă lista de modele de la un server (implicit 10 secunde).

Exemple practice și scenarii reale

Exemplul 1: Ollama pe gazdă, Open WebUI în Docker

Imaginea găsește singură Ollama la host.docker.internal:11434, dacă Ollama ascultă pe toate interfețele.

# pe gazdă
OLLAMA_HOST=0.0.0.0 ollama serve
ollama pull qwen3

# containerul Open WebUI, fără OLLAMA_BASE_URL
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=cheia-ta \
  --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Exemplul 2: Ollama pe alt server și două servere cu aceleași modele

-e OLLAMA_BASE_URL=http://192.168.1.50:11434

-e OLLAMA_BASE_URLS="http://gpu-1:11434;http://gpu-2:11434"

Exemplul 3: Model GGUF direct de pe Hugging Face

Se scrie în Pull a model from Ollama.com sau în selectorul de modele, în forma hf.co/{utilizator}/{repo}:{cuantizare}; exemplul este cel din documentație.

hf.co/ggml-org/gemma-3-270m-it-GGUF:Q8_0

Greșeli frecvente și capcane

• Pornești comutatorul num_ctx și lași valoarea 2048: contextul e tăiat, iar cu apelarea Native a uneltelor modelul poate da răspunsuri goale.
• Ștergi un model din Manage ca să-l ascunzi. Ștergerea îl elimină de pe serverul Ollama pentru toți; pentru ascundere folosești Model IDs (Filter).
• Cauți conexiunile în vechiul „Admin Panel > Settings”. Din v0.11.0 sunt în Settings > Admin > Connections.

Noțiuni și module înrudite

• docker-run-open-webui
• conectare-openai-vllm
• open-webui-workspace-modele
• open-webui-variabile-mediu