Furnizori de modele: API-uri, endpoint-uri proprii și modele locale în Hermes Agent CLI

hermes model   |   hermes chat --provider <furnizor> --model <model>   |   --provider custom --base-url <url>

Ce face Furnizori de modele: API-uri, endpoint-uri proprii și modele locale

Hermes poate folosi zeci de furnizori: Nous Portal (recomandat de documentație, cu OAuth), OpenRouter, Anthropic, OpenAI, Google Gemini, DeepSeek, xAI, AWS Bedrock, Azure AI Foundry, Ollama Cloud, LM Studio și alții. Adăugarea unui furnizor, a cheilor API și a conturilor OAuth se face cu hermes model; cheile ajung în ~/.hermes/.env (de exemplu DEEPSEEK_API_KEY pentru furnizorul deepseek).

Orice server care implementează /v1/chat/completions se folosește ca endpoint personalizat: în hermes model alegi „Custom endpoint (self-hosted / VLLM / etc.)” și introduci URL-ul, cheia și modelul, sau scrii în config.yaml provider: custom cu base_url. Nu există furnizori numiți vllm sau ollama pentru instanțe locale: Ollama local (http://localhost:11434/v1) și vLLM (http://localhost:8000/v1) sunt endpoint-uri personalizate.

Pentru o singură rulare, hermes chat --provider custom --base-url <url> --model <model> folosește un endpoint explicit; cheia dată cu --api-key nu ajunge pe disc. Hermes cere cel puțin 64.000 de tokeni de context pentru lucrul cu unelte și refuză la pornire ferestrele mai mici. vLLM are nevoie de --enable-auto-tool-choice și --tool-call-parser, altfel apelurile de unelte apar ca text.

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
hermes model	Asistentul complet: furnizori noi, chei, OAuth, endpoint-uri proprii.
--provider <nume>	De exemplu openrouter, nous, anthropic, deepseek, gemini, xai, ollama-cloud, lmstudio, custom.
--base-url <url> / --api-key <cheie>	Endpoint explicit pentru --provider custom, doar pentru această lansare.
model.provider: custom + model.base_url	Endpoint propriu salvat în config.yaml (cheie opțională: api_key sau key_env).
/model custom:<model> | custom:<nume>:<model>	Comutare în sesiune pe endpoint-ul personalizat sau pe un furnizor personalizat numit.
OLLAMA_CONTEXT_LENGTH	Ollama pornește implicit cu un context mic; mărește-l pe server (sau num_ctx într-un Modelfile).

Exemple practice

Exemplul 1: Asistentul de configurare

hermes model
# alege „Custom endpoint (self-hosted / VLLM / etc.)”
# URL: http://localhost:11434/v1, fără cheie, model: qwen2.5-coder:32b

Exemplul 2: Ollama local în config.yaml

Exemplul din documentație:

model:
  default: qwen2.5-coder:32b
  provider: custom
  base_url: http://localhost:11434/v1
  context_length: 64000

Exemplul 3: Server vLLM cu apeluri de unelte

vllm serve meta-llama/Llama-3.1-70B-Instruct \
  --port 8000 \
  --max-model-len 65536 \
  --enable-auto-tool-choice \
  --tool-call-parser hermes

Exemplul 4: O rulare pe un furnizor anume

hermes chat --provider openrouter --model anthropic/claude-sonnet-4.6

Greșeli frecvente și bune practici

• Folosești --provider vllm, --provider ollama sau --custom-base-url. Nu există; folosește --provider custom --base-url sau hermes model.
• Lași Ollama cu contextul implicit. Hermes refuză ferestrele sub 64K; setează OLLAMA_CONTEXT_LENGTH sau model.ollama_num_ctx.
• Încerci să adaugi furnizorul cu /model din sesiune. Acesta comută doar între furnizori deja configurați.

Comenzi înrudite

• hermes-model
• hermes-slash-model
• hermes-fallback
• hermes-auth