Autentificare cu Token Hugging Face pentru Modele Protejate în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Multe dintre cele mai performante modele de limbaj (cum sunt Meta Llama 3.1 sau Google Gemma 2) sunt „gated models”, necesitând acceptarea licenței pe platforma Hugging Face și furnizarea unui token de acces API cu drepturi de citire.

from huggingface_hub import login
import os

# Autentificare programatică sau prin variabilă de mediu
hf_token = os.environ.get("HF_TOKEN", "hf_TokenulTauSecretHuggingFace")
login(token=hf_token)

print("Autentificare reușită pe Hugging Face Hub!")

Odată autentificat, Unsloth poate descărca direct greutățile optimizate din repozitoriile unsloth/Meta-Llama-3.1-8B-bnb-4bit.