Imaginea :cuda: Open WebUI cu placă video NVIDIA în Open WebUI & RAG Local

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=cheia-ta --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

Tagul :cuda este imaginea standard construită cu CUDA 12.8 (:cuda126 pentru CUDA 12.6) și se pornește cu --gpus all. Conform documentației, mută pe GPU modelele pe care Open WebUI le rulează singur: modelul de embeddings, modelul de reranking și Whisper pentru transcriere. Dacă nu vede nicio placă, folosește procesorul, fără eroare.

Imaginea :cuda nu accelerează modelele de chat. Ele rulează în Ollama, vLLM sau la un furnizor din cloud, iar Ollama folosește placa video doar dacă containerul sau serviciul lui are acces la ea. Varianta :ollama, pornită cu --gpus=all, pune Ollama și Open WebUI în același container, cu un al doilea volum pentru modelele Ollama (-v ollama:/root/.ollama).

Docker trebuie configurat pentru acces la GPU; ghidurile oficiale trimit la NVIDIA Container Toolkit, după instrucțiunile NVIDIA. Imaginea :slim nu se combină cu CUDA, pentru că nu conține PyTorch. Pentru o versiune fixă se folosește :vX.Y.Z-cuda, iar pentru pre-lansare :dev-cuda.

Concepte cheie și caracteristici

Concept / Parametru	Descriere practică
--gpus all	Dă containerului acces la toate plăcile NVIDIA (cere suport GPU în Docker).
:cuda	CUDA 12.8; embeddings, reranking și Whisper pe GPU.
:cuda126	Aceeași imagine construită pentru CUDA 12.6.
:vX.Y.Z-cuda	Versiune fixă cu CUDA, de exemplu :v0.12.4-cuda.
:ollama	Open WebUI și Ollama în același container; cu --gpus=all Ollama folosește placa.
-v ollama:/root/.ollama	Volumul pentru modelele descărcate de Ollama în imaginea :ollama.
deploy.resources.reservations.devices	Echivalentul lui --gpus în Docker Compose.

Exemple practice și scenarii reale

Exemplul 1: Open WebUI pe GPU, Ollama separat pe gazdă

docker run -d -p 3000:8080 --gpus all \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  -e WEBUI_SECRET_KEY=cheia-ta \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:cuda

Exemplul 2: Ollama inclus în container, cu GPU

docker run -d -p 3000:8080 --gpus=all \
  -v ollama:/root/.ollama \
  -v open-webui:/app/backend/data \
  -e WEBUI_SECRET_KEY=cheia-ta \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:ollama

Exemplul 3: GPU în Docker Compose

Imaginea se schimbă în :cuda și se adaugă blocul de mai jos în serviciul open-webui.

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:cuda
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

Greșeli frecvente și capcane

• Te aștepți ca :cuda să facă modelele de chat mai rapide. Viteza lor depinde de serverul care le rulează (Ollama, vLLM), nu de imaginea Open WebUI.
• Pui --gpus all fără ca Docker să fie configurat pentru GPU. Instalează și configurează NVIDIA Container Toolkit înainte.
• Alegi :slim și adaugi --gpus all: imaginea nu are modele locale care să folosească placa.

Noțiuni și module înrudite

• docker-run-open-webui
• docker-compose-ollama-webui
• rag-embedding-engine
• voice-tts-stt