hf endpoints catalog (ls, deploy) și list-catalog în Hugging Face Hub & Transformers

CLI hf: Spaces, Jobs și Endpoints huggingface_hub 2.3 / CLI hf (octombrie 2026)

Lansează Inference Endpoints din Model Catalog, cu rețete testate (hardware plus motor de inferență) pentru fiecare model.

Sintaxă & invocare Python
hf endpoints catalog ls [--accelerator A] [--engine E] [--task T] [--search TEXT] [--limit N]
hf endpoints catalog deploy (--repo REPO | --recipe RECIPE_ID) [--name NUME]

Ce face hf endpoints catalog (ls, deploy) și list-catalog

Fiecare model din Model Catalog are una sau mai multe rețete: o combinație de hardware și motor testată pentru el. hf endpoints catalog ls (alias list) afișează câte un rând pe rețetă, deci un model cu rețetă GPU și Neuron apare de două ori. Filtrele --accelerator, --engine, --license, --task, --search și --limit se aplică pe server.

hf endpoints catalog deploy --repo lansează rețeta implicită a unui model, restrânsă opțional cu --accelerator și --gguf-file (pentru modele cu câte o rețetă pe cuantizare). --recipe lansează exact rețeta dată și nu se combină cu acele opțiuni.

hf endpoints list-catalog are aceleași opțiuni ca hf endpoints catalog ls.

Sintaxă și opțiuni

Opțiune / Parametru Descriere
catalog ls --accelerator [cpu|gpu|neuron] Doar rețete pe acest accelerator.
catalog ls --engine [llamacpp|sglang|tei|vllm] Doar rețete cu acest motor.
catalog ls --license / --task / --search / --limit Licența, sarcina, căutarea, numărul de rezultate.
catalog deploy --repo TEXT Lansează rețeta implicită a modelului. Exclusiv cu --recipe.
catalog deploy --recipe TEXT ID-ul rețetei din catalog ls. Exclusiv cu --repo.
catalog deploy --name TEXT Numele endpoint-ului.
catalog deploy --accelerator / --gguf-file Restrâng rețeta implicită; doar cu --repo.
--namespace TEXT Organizația; implicit contul tău.
--token TEXT Token de acces (User Access Token) creat în huggingface.co/settings/tokens. Implicit se folosește tokenul salvat de hf auth login.

Exemple practice

Exemplul 1: Rețete vLLM pentru generare de text

hf endpoints catalog ls --engine vllm --task text-generation --search llama --limit 10

Exemplul 2: Rețeta implicită a unui model, cu nume propriu

hf endpoints catalog deploy --repo meta-llama/Llama-3.2-1B-Instruct --name my-llama-endpoint

Exemplul 3: O rețetă exactă

hf endpoints catalog deploy --recipe artisanal-quinoa-yz9ynamx

Greșeli frecvente și bune practici

  • Combini --recipe cu --accelerator sau --gguf-file. Rețeta desemnează deja hardware-ul; comanda refuză combinația.
  • Presupui că un model apare o singură dată în listă. Fiecare rând este o rețetă; alege-o după coloanele ACCELERATOR și ENGINE.

Comenzi înrudite