Decuplarea Regularizării L2 în AdamW vs Adam Clasificator în PyTorch & Deep Learning Practic

În algoritmul Adam original, regularizarea L2 a fost implementată prin adăugarea directă a termenului λ * θ la gradientul calculat. În prezența momentului de ordinul doi (estimarea varianței adaptive), această abordare provoacă o penalizare disproporționată a greutăților cu gradiente mari.

Algoritmul AdamW decuplează scăderea greutăților (Weight Decay), aplicând-o direct asupra ponderilor după pasul adaptiv:

θ ← θ - η * λ * θ - η * m_hat / (sqrt(v_hat) + ε)

import torch.optim as optim

# Configurarea AdamW cu weight decay decuplat
optimizer = optim.AdamW(
    model.parameters(),
    lr=5e-4,
    betas=(0.9, 0.98),
    eps=1e-6,
    weight_decay=0.01
)

Toate modelele lingvistice moderne (LLaMA, GPT-4, Mistral) sunt antrenate exclusiv cu optimizatorul AdamW din acest motiv.