Ce este Optimizatori pentru LLM: AdamW, Lion și Programarea Ratei de Învățare?

import torch
from torch.optim import AdamW
from torch.optim.lr_scheduler import CosineAnnealingLR

# Configurare standard optimizator stil LLaMA:
optimizer = AdamW(
    model.parameters(),
    lr=3e-4,
    betas=(0.9, 0.95),      # Beta2 mai mic (0.95) pentru stabilitate la scară
    eps=1e-8,
    weight_decay=0.1        # Previne creșterea necontrolată a valorii greutăților
)

# Programare cosinusoidă a ratei de învățare:
scheduler = CosineAnnealingLR(optimizer, T_max=100000, eta_min=3e-5)

Warmup: Rata de învățare începe de la zero și crește liniar în primii 2.000 de pași pentru a preveni explozia gradienților la inițializare.