În proxy-ul LiteLLM, Groq este tratat ca furnizor de prim rang prin prefixul groq/. Se pot configura multiple chei API pentru a distribui traficul uniform și a evita limitele de rată:
# config.yaml LiteLLM cu suport Groq
model_list:
- model_name: asist-rapid
litellm_params:
model: groq/llama-3.1-8b-instant
api_key: os.environ/GROQ_API_KEY_1
- model_name: asist-rapid
litellm_params:
model: groq/llama-3.1-8b-instant
api_key: os.environ/GROQ_API_KEY_2
router_settings:
routing_strategy: least-busyAceastă arhitectură oferă o capacitate agregată de mii de cereri pe minut pentru întreaga companie.
Întrebări & Exemple practice:
Rularea Groq în LiteLLM Proxy cu Echilibrare de ÎncărcareAi o întrebare despre Rularea Groq în LiteLLM Proxy cu Echilibrare de Încărcare sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.