Configurarea Modelelor LLM cu config_list_from_json în Învață Microsoft AutoGen: Sisteme Multi-Agent & Conversații Autonome

AutoGen utilizează o listă de configurări pentru a permite rotația automată a modelelor și mecanisme de fallback atunci când un furnizor de servicii este indisponibil:

import autogen

config_list = autogen.config_list_from_json(
    env_or_file="OAI_CONFIG_LIST",
    filter_dict={"model": ["gpt-4o", "gpt-4o-mini"]}
)

llm_config = {
    "config_list": config_list,
    "temperature": 0.2,
    "timeout": 120,
}

Dacă un apel către primul model eșuează din cauza limitelor de rată, AutoGen încearcă imediat următorul model din listă.