PyTorch & Deep Learning Practic: ghid Python, arhitectură și exemple practice

PyTorch este cel mai utilizat framework de calcul tensorial și Deep Learning din lume, dezvoltat inițial de Meta AI și întreținut sub egida Linux Foundation. Aproape toate marile descoperiri recente din inteligența artificială — de la modelele de limbaj Llama, DeepSeek, Mistral și GPT, până la modelele de difuzie Stable Diffusion și Flux — sunt antrenate și optimizate nativ pe PyTorch.

Datorită execuției dinamice (Eager Mode), integrării organice cu ecosistemul Python și suportului hardware de top (NVIDIA CUDA, Apple Silicon Metal/MPS, AMD ROCm), PyTorch combină flexibilitatea necesară cercetării cu viteza de producție din PyTorch 2.x (torch.compile).

Cum este organizat acest ghid

Am structurat cele 15 concepte, module și tehnici esențiale PyTorch în 4 categorii practice:

• Tensori, Hardware & Autograd: Fundamente Tensori (shape, device, dtype), Accelerare Hardware (CUDA, MPS, CPU), Autograd & Diferențiere Automată (loss.backward) și torch.no_grad() & Modul de Inferență.
• Arhitecturi Neuronale & Flux de Date: Clasa nn.Module & Metoda forward(), Straturi Fundamentale (Linear, Embedding, LayerNorm, Dropout) și Gestionarea Datelor (Dataset & DataLoader).
• Antrenare, Optimizare & Stare: Funcții de Pierdere (Loss Functions), Optimizatori (AdamW, SGD & zero_grad), Bucla de Antrenare (Training & Eval Loop), Programarea Ratei de Învățare (LR Schedulers) și Salvarea & Încărcarea Greutăților (state_dict).
• Performanță, Compilare & Sisteme Distribuite: Precizie Mixtă Automată (AMP & bfloat16), torch.compile() în PyTorch 2.x, Antrenare Distribuită Multi-GPU (DDP) și Profilare VRAM & Depanare CUDA.

Apasă pe oricare concept de mai jos pentru cod Python gata de copiat, diagrame mentale și explicații clare în limba română.

# Instalare pe macOS (suport nativ accelerat pe GPU Apple Silicon Metal / MPS):
brew install uv
uv venv .venv && source .venv/bin/activate
uv pip install torch torchvision torchaudio

# Verificare accelerare MPS în terminal:
python -c "import torch; print('MPS activ:', torch.backends.mps.is_available())"

# Instalare pe Windows cu accelerare NVIDIA GPU (CUDA 12.4):
python -m venv .venv
.\.venv\Scripts\Activate.ps1
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

# Verificare GPU în PowerShell:
python -c "import torch; print('CUDA activ:', torch.cuda.is_available(), torch.cuda.get_device_name(0))"

# Instalare pe Linux (Ubuntu / Debian / Arch) cu CUDA 12.4:
python3 -m venv .venv && source .venv/bin/activate
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

# Sau instalare pentru GPU AMD (ROCm 6.2):
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.2

# Pentru a descărca modele și greutăți protejate (Llama 3.3, Mistral) de pe Hugging Face:
export HF_TOKEN="hf_..."
# Verificare compilator PyTorch 2.x:
python -c "import torch; print('PyTorch Versiune:', torch.__version__)"