Ce face hf endpoints catalog (ls, deploy) și list-catalog
Fiecare model din Model Catalog are una sau mai multe rețete: o combinație de hardware și motor testată pentru el. hf endpoints catalog ls (alias list) afișează câte un rând pe rețetă, deci un model cu rețetă GPU și Neuron apare de două ori. Filtrele --accelerator, --engine, --license, --task, --search și --limit se aplică pe server.
hf endpoints catalog deploy --repo lansează rețeta implicită a unui model, restrânsă opțional cu --accelerator și --gguf-file (pentru modele cu câte o rețetă pe cuantizare). --recipe lansează exact rețeta dată și nu se combină cu acele opțiuni.
hf endpoints list-catalog are aceleași opțiuni ca hf endpoints catalog ls.
Sintaxă și opțiuni
| Opțiune / Parametru | Descriere |
|---|---|
catalog ls --accelerator [cpu|gpu|neuron] |
Doar rețete pe acest accelerator. |
catalog ls --engine [llamacpp|sglang|tei|vllm] |
Doar rețete cu acest motor. |
catalog ls --license / --task / --search / --limit |
Licența, sarcina, căutarea, numărul de rezultate. |
catalog deploy --repo TEXT |
Lansează rețeta implicită a modelului. Exclusiv cu --recipe. |
catalog deploy --recipe TEXT |
ID-ul rețetei din catalog ls. Exclusiv cu --repo. |
catalog deploy --name TEXT |
Numele endpoint-ului. |
catalog deploy --accelerator / --gguf-file |
Restrâng rețeta implicită; doar cu --repo. |
--namespace TEXT |
Organizația; implicit contul tău. |
--token TEXT |
Token de acces (User Access Token) creat în huggingface.co/settings/tokens. Implicit se folosește tokenul salvat de hf auth login. |
Exemple practice
Exemplul 1: Rețete vLLM pentru generare de text
hf endpoints catalog ls --engine vllm --task text-generation --search llama --limit 10
Exemplul 2: Rețeta implicită a unui model, cu nume propriu
hf endpoints catalog deploy --repo meta-llama/Llama-3.2-1B-Instruct --name my-llama-endpoint
Exemplul 3: O rețetă exactă
hf endpoints catalog deploy --recipe artisanal-quinoa-yz9ynamx
Greșeli frecvente și bune practici
- Combini
--recipecu--acceleratorsau--gguf-file. Rețeta desemnează deja hardware-ul; comanda refuză combinația. - Presupui că un model apare o singură dată în listă. Fiecare rând este o rețetă; alege-o după coloanele ACCELERATOR și ENGINE.