hf endpoints (Inference Endpoints) în Hugging Face Hub & Transformers

hf endpoints ls | hardware
hf endpoints deploy NUME --repo REPO --framework F --accelerator A --vendor V --region R --instance-type T --instance-size S
hf endpoints describe | update | pause | resume | scale-to-zero | delete NUME

Ce face hf endpoints (Inference Endpoints)

hf endpoints gestionează Inference Endpoints (aliasul vechi hf inference-endpoints mai funcționează). ls listează endpoint-urile din namespace, describe arată starea și metadatele, iar pause, resume, scale-to-zero și delete le controlează.

deploy cere cinci opțiuni de hardware (--vendor, --region, --accelerator, --instance-type, --instance-size). hf endpoints hardware listează combinațiile valide cu prețul pe replică pe oră (USD) și cota namespace-ului; implicit doar ce poți lansa acum, iar --all arată și restul. Pentru o organizație, dă același --namespace ca la deploy, pentru că cota este pe namespace.

Cu --framework custom --custom-image rulezi propria imagine (repository-ul modelului este montat la /repository). --engine o rulează ca motor gestionat și deblochează --tensor-parallel-size și --data-parallel-size. La update, --container-args, --container-command și --custom-image înlocuiesc valoarea existentă; rulează întâi describe.

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
deploy NAME --repo TEXT	Repository-ul modelului (obligatoriu).
--framework TEXT	Framework-ul (de exemplu pytorch, vllm, custom).
--accelerator / --vendor / --region / --instance-type / --instance-size	Hardware-ul (obligatorii la deploy); valorile vin din hf endpoints hardware.
--task TEXT / --revision TEXT	Sarcina; revizia modelului.
--min-replica / --max-replica INTEGER	Numărul de replici (implicit 1 / 1 la deploy).
--scale-to-zero-timeout INTEGER	Minute de inactivitate până la scalarea la zero.
--scaling-metric [pendingRequests|hardwareUsage] / --scaling-threshold FLOAT	Metrica și pragul de scalare.
--custom-image TEXT	Imaginea Docker; cere --framework custom.
--engine [custom|hf-serve|llamacpp|sglang|tei|tgi|tgi-neuron|vllm|vllm-neuron]	Motorul gestionat pentru imaginea dată.
--health-route TEXT / --port INTEGER	Ruta de health check și portul containerului (cu --custom-image).
--container-registry-username / --container-registry-password	Autentificare la registrul imaginii.
--tensor-parallel-size / --data-parallel-size INTEGER	Paralelism (vLLM și SGLang / doar vLLM).
--container-command / --container-args TEXT	Entrypoint-ul și argumentele containerului, ca șir între ghilimele.
-e, --env / --env-file / -s, --secrets / --secrets-file	Variabile și secrete.
--type [public|authenticated|private]	Tipul de acces. Implicit authenticated.
hardware --vendor / --region / --accelerator / --instance-type / -a, --all	Filtre la listarea hardware-ului.
resume --fail-if-already-running	Eroare dacă endpoint-ul rulează deja.
delete --yes	Fără confirmare.
--namespace TEXT	Organizația; implicit contul tău.
--token TEXT	Token de acces (User Access Token) creat în huggingface.co/settings/tokens. Implicit se folosește tokenul salvat de hf auth login.

Exemple practice

Exemplul 1: Endpoint-urile tale

hf endpoints ls

Exemplul 2: Hardware disponibil în AWS eu-west-1

hf endpoints hardware --vendor aws --region eu-west-1

Exemplul 3: Lansare dintr-un model de pe Hub

hf endpoints deploy my-endpoint --repo gpt2 --framework pytorch --accelerator cpu --instance-size x2 --instance-type intel-icl

Exemplul 4: vLLM gestionat pe 8 GPU-uri H200

hf endpoints deploy gpt-oss-120b-vllm \
  --repo openai/gpt-oss-120b \
  --framework custom \
  --accelerator gpu --vendor aws --region us-east-1 \
  --instance-type nvidia-h200 --instance-size x8 \
  --engine vllm --custom-image vllm/vllm-openai:v0.23.0 \
  --tensor-parallel-size 8

Exemplul 5: Două replici minime

hf endpoints update my-endpoint --min-replica 2

Exemplul 6: Pauză și ștergere

hf endpoints pause my-endpoint
hf endpoints delete my-endpoint --yes

Greșeli frecvente și bune practici

• Lansezi vLLM sau SGLang pe mai multe acceleratoare fără --tensor-parallel-size sau --data-parallel-size. API-ul respinge configurația, pentru că modelul ar folosi un singur accelerator.
• Dai la update doar argumentul nou în --container-args. Opțiunea înlocuiește lista; include tot ce vrei să păstrezi (vezi describe).
• Verifici hardware-ul fără --namespace când lansezi într-o organizație. Vezi cota personală, nu pe a organizației.

Comenzi înrudite

• hf-endpoints-catalog
• hf-models
• hf-jobs-run