În momentele de cerere globală extremă, un anumit model (cum ar fi 70B) poate atinge plafonul de capacitate. O arhitectură rezilientă implementează un lanț de fallback:
def apeleaza_cu_fallback(client, prompt):
modele = ["llama-3.3-70b-versatile", "llama-3.1-8b-instant"]
for model in modele:
try:
return client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}]
)
except groq.RateLimitError:
print(f"Modelul {model} este ocupat. Se comută pe alternativa următoare...")
raise RuntimeError("Toate modelele sunt temporar indisponibile.")Această strategie garantează o disponibilitate neîntreruptă pentru utilizatorii finali.
Întrebări & Exemple practice:
Rutarea Automată de Rezervă între Modele în Caz de IndisponibilitateAi o întrebare despre Rutarea Automată de Rezervă între Modele în Caz de Indisponibilitate sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.