`Instalare Docker cu Suport GPU` în Open WebUI & RAG Local

Instalare, Docker & Conectare Nivel: mediu

Rularea imaginii containerizate optimizate CUDA pentru accelerarea procesării embeddings și a modelelor locale.

Configurare & comandă

docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data ghcr.io/open-webui/open-webui:cuda

Descriere & Utilizare

Dacă folosești funcționalitățile interne de RAG sau vrei ca modelele de embeddings (cum ar fi Sentence-Transformers) să ruleze direct pe placa video, imaginea cu tag-ul :cuda este esențială.

Această variantă folosește nucleele plăcii Nvidia pentru a vectoriza documentele mari de 10 ori mai repede decât pe procesor.

Cum să o reții ușor

💡 Activarea turbosuflantei pe motorul mașinii tale: funcționează la fel, dar la apăsarea accelerației răspunsul este instantaneu.

Opțiuni și parametri tehnici

Utilizează Nvidia Container Toolkit pentru a acorda acces direct la driverele CUDA gazdă.

Exemple practice și cazuri de utilizare

docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:cuda

Sfaturi de configurare & capcane

Asigură-te că ai instalat pachetul `nvidia-container-toolkit` pe serverul tău Linux înainte de a rula cu steagul `–gpus all`.

Comenzi și ghiduri înrudite

docker-run-open-webui: Comandă asociată din acest modul.
rag-embedding-engine: Comandă asociată din acest modul.
docker-compose-ollama-webui: Comandă asociată din acest modul.