AutoGen poate interacționa cu orice server local de inferență care respectă specificația REST OpenAI (Ollama, vLLM, LM Studio, llama.cpp):
import autogen
local_config_list = [
{
"model": "qwen2.5-coder:7b",
"base_url": "http://localhost:11434/v1",
"api_key": "ollama",
}
]
assistant = autogen.AssistantAgent(
name="local_assistant",
llm_config={"config_list": local_config_list, "temperature": 0.1}
)Permite rularea continuă a testelor și execuțiilor automate pe stații de lucru locale fără riscuri de securitate.
Întrebări & Exemple practice:
Conectarea AutoGen la Modele Locale (Ollama, vLLM & LM Studio)Ai o întrebare despre Conectarea AutoGen la Modele Locale (Ollama, vLLM & LM Studio) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.