Hugging Face Hub & Transformers: ghid Python, arhitectură și exemple practice

Hugging Face este epicentrul mondial al inteligenței artificiale open-source — supranumit adesea „GitHub-ul pentru Machine Learning” — găzduind peste un milion de modele pre-antrenate, sute de mii de seturi de date și aplicații interactive.

În inima acestui ecosistem se află biblioteca Python Transformers, alături de uneltele complementare care permit oricărui dezvoltator să descarce, să ruleze, să cuantizeze pe 4 biți și să antreneze (Fine-Tuning) modele de ultimă generație (Llama, Qwen, Mistral, DeepSeek, Gemma, Whisper): de la pipeline() și AutoModelForCausalLM, până la PEFT / QLoRA, Datasets, Accelerate, formatul securizat Safetensors și interfețele web Gradio Spaces.

Cum este organizat acest ghid

Am structurat bibliotecile esențiale Hugging Face și comenzile CLI-ului oficial hf în categorii practice:

• Inferență & Biblioteca Transformers: funcția rapidă pipeline(), AutoTokenizer (și Chat Templates), AutoModelForCausalLM și controlul decodării cu model.generate().
• Optimizare Hardware & Stocare: cuantizare 4-bit/8-bit cu BitsAndBytesConfig, paralelism multi-GPU cu Accelerate, formatul Safetensors și vechiul huggingface-cli, eliminat și înlocuit de hf.
• CLI hf: autentificare (hf auth), hf download, hf upload, hf cp, buckets, cache, repository-uri, modele, dataset-uri, lucrări, colecții, discuții, Spaces, Jobs, sandbox-uri, Inference Endpoints, webhooks, extensii și skill-uri: 25 de comenzi de prim nivel, cu toate subcomenzile.
• Date, Antrenare & Fine-Tuning: biblioteca datasets (load_dataset), buclele de antrenare Trainer / SFTTrainer, adaptarea eficientă PEFT & LoraConfig (QLoRA) și metricile din evaluate.
• Embeddings, Interfețe & Cloud: SentenceTransformers pentru RAG, interfețe web rapide cu Gradio și găzduirea în Hugging Face Spaces.

Apasă pe oricare componentă de mai jos pentru sintaxă Python completă, parametri de memorie VRAM, analogii intuitive și exemple practice.

# Instalare pe macOS (cu accelerare nativă Apple Silicon MPS în PyTorch):
brew install uv
uv venv .venv && source .venv/bin/activate
uv pip install torch torchvision torchaudio transformers datasets accelerate peft huggingface_hub

# În Windows PowerShell (cu suport GPU NVIDIA CUDA 12.4):
python -m venv .venv
.\.venv\Scripts\Activate.ps1
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
pip install -U transformers datasets accelerate peft bitsandbytes huggingface_hub

# Pe Linux (cu suport GPU NVIDIA CUDA și cuantizare bitsandbytes 4-bit):
python3 -m venv .venv && source .venv/bin/activate
pip install -U torch transformers datasets accelerate peft trl bitsandbytes huggingface_hub[cli]

# Autentificare în terminal cu tokenul din huggingface.co/settings/tokens:
huggingface-cli login

# Sau prin variabila de mediu:
export HF_TOKEN="hf_..."