Deși Ollama este recunoscut ca un instrument desktop pentru rularea rapidă a modelelor locale, el poate fi desfășurat ca un serviciu backend robust în producție pe clustere private, oferind un control complet al datelor confidențiale.
# ollama-k8s-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: ollama-service
spec:
replicas: 2
template:
spec:
containers:
- name: ollama
image: ollama/ollama:latest
resources:
limits:
nvidia.com/gpu: 1
env:
- name: OLLAMA_KEEP_ALIVE
value: "24h" # Păstrează modelul permanent cald în VRAM
ports:
- containerPort: 11434Setarea variabilei OLLAMA_KEEP_ALIVE previne descărcarea repetată a modelului pe disc după fiecare perioadă de inactivitate.
Întrebări & Exemple practice:
Rularea și Scalarea Ollama în Medii Private și Clustere KubernetesAi o întrebare despre Rularea și Scalarea Ollama în Medii Private și Clustere Kubernetes sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.