Fără un control strict al consumului, un singur client care rulează o buclă infinită de procesare a documentelor poate consuma mii de dolari în API credits într-o singură noapte. Sistemele de guvernanță atribuie cote de consum financiare sau cantitative fiecărei chei de utilizator:
# Exemplu de creare cheie virtuală cu plafon de buget în LiteLLM
import requests
payload = {
"user_id": "dept_marketing_ro",
"max_budget": 150.0, # Buget maxim alocat: 150 USD
"budget_duration": "30d", # Resetare la fiecare 30 de zile
"models": ["gpt-4o-mini", "claude-3-haiku"]
}
resp = requests.post(
"http://litellm-proxy:4000/key/generate",
json=payload,
headers={"Authorization": "Bearer MASTER_KEY"}
)
cheie_generata = resp.json()["key"]
print("Cheie generată cu limită bugetară:", cheie_generata)La atingerea a 80% din buget se trimite o alertă pe Slack/email, iar la atingerea a 100% gateway-ul blochează cererile suplimentare cu un mesaj explicativ.
Întrebări & Exemple practice:
Alocarea Bugetelor de Tokeni pe Clienți, Utilizatori și DepartamenteAi o întrebare despre Alocarea Bugetelor de Tokeni pe Clienți, Utilizatori și Departamente sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.