Scalarea automată a sarcinilor de lucru AI pe Kubernetes bazată pe consumul tradițional de CPU sau memorie RAM nu funcționează corect, deoarece un GPU alocă de regulă 95% din VRAM chiar dacă procesează o singură cerere. Scalarea corectă trebuie să fie ghidată de numărul de cereri în așteptare (Queue Depth).
Utilizarea KEDA (Kubernetes Event-driven Autoscaling) cu metrici Prometheus expuse de vLLM:
# keda-scaledobject.yaml
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
name: vllm-autoscaler
spec:
scaleTargetRef:
name: vllm-deployment
minReplicaCount: 1
maxReplicaCount: 8
triggers:
- type: prometheus
metadata:
serverAddress: http://prometheus-server:9090
metricName: vllm_num_requests_waiting
query: sum(vllm_num_requests_waiting)
threshold: '5' # Adaugă un nou nod/pod GPU când sunt peste 5 cereri în coadăAceastă arhitectură asigură că infrastructura scalează la cerere în timpul vârfurilor de trafic și revine la numărul minim de instanțe în perioadele de liniște.
Întrebări & Exemple practice:
Scalarea Automată a Pod-urilor cu GPU pe Baza Cozilor de Cereri cu KEDAAi o întrebare despre Scalarea Automată a Pod-urilor cu GPU pe Baza Cozilor de Cereri cu KEDA sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.