Hermes Agent a fost conceput de la bun început cu o filozofie 100% open-source și agnostică de furnizor: nu te forțează să depinzi de un singur API comercial închis.
Prin flagul --provider sau variabile de mediu, poți redirecționa creierul agentului către serverul tău propriu de vLLM sau Ollama (rulând modele Llama 3.3 sau Qwen 2.5 local cu cost zero), către API-ul ultra-rapid DeepSeek-V3/R1 sau către agregatorul OpenRouter.
Această flexibilitate permite optimizarea extremă a costurilor: poți folosi un model local gratuit pentru căutări și investigații de rutină, comutând instantaneu pe un model gigant de frontieră doar atunci când sarcina o cere.
Sintaxă, opțiuni și concepte cheie
| Opțiune / Concept | Descriere practică |
|---|---|
--provider vllm |
Conectare la un server local vLLM compatibil cu OpenAI API (implicit http://localhost:8000/v1). |
--provider ollama |
Conectare directă la instanța locală de Ollama. |
--provider deepseek |
Utilizarea API-ului oficial DeepSeek cu prețuri de 10-20 de ori mai mici decât furnizorii americani. |
--custom-base-url |
Specificarea unei adrese URL personalizate pentru rețele private sau proxy-uri enterprise. |
Exemple practice de terminal și cod
Exemplul 1: Lansarea Hermes folosind un model Llama 3.3 70B găzduit pe serverul propriu vLLM
Comandă de pornire fără niciun cost de API comercial extern.
$ hermes --provider vllm \
--custom-base-url "http://192.168.1.100:8000/v1" \
--model "meta-llama/Llama-3.3-70B-Instruct" \
--tui
[Hermes Connected to Private vLLM Cluster]
Model: Llama-3.3-70B-Instruct (4-bit AWQ)
Latency: 85 tokens/sec
Privacy: 100% On-Premise
Ready for input:Rezultat & Impact
Agent de nivel enterprise rulat în rețeaua internă a companiei.Greșeli frecvente și bune practici
- Omiterea parametrului max_tokens când conectezi modele locale cu context redus, riscând trunchierea răspunsurilor.
- Utilizarea unor modele mici (sub 7B parametri) care nu stăpânesc bine apelurile de unelte (tool calling) specifice lui Hermes.