InferenceClient: Apelarea Modelelor Serverless și Dedicated din Python în Hugging Face Hub & Transformers

from huggingface_hub import InferenceClient

client = InferenceClient(model="meta-llama/Llama-3.1-8B-Instruct", token="hf_...")

# Chat completion compatibil cu formatul standard:
response = client.chat.completions.create(
    messages=[{"role": "user", "content": "Explică conceptul de Attention în 2 fraze."}],
    max_tokens=100
)
print(response.choices[0].message.content)

Zero infrastructură: Permite testarea instantanee a celor mai noi modele fără a descărca zeci de gigabytes pe discul local.