Rularea Ollama prin container Docker asigură un mediu izolat, reproductibil și ușor de gestionat pe serverele cloud sau clusterele Kubernetes, beneficiind de accelerare GPU prin NVIDIA Container Toolkit (sau suport ROCm pentru plăci AMD).
# Rulare pe mașină Linux cu GPU NVIDIA:
docker run -d \
--gpus=all \
-v ollama_data:/root/.ollama \
-p 11434:11434 \
--restart unless-stopped \
--name ollama \
ollama/ollama
Persistență: Volumul ollama_data păstrează modelele descărcate intacte la repornirea containerului.
Întrebări & Exemple practice:
Rularea Ollama în Containere Docker cu Suport GPU NVIDIA și ROCmAi o întrebare despre Rularea Ollama în Containere Docker cu Suport GPU NVIDIA și ROCm sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.