torch.optim.SGD: Optimizatorul Stochastic Gradient Descent în PyTorch & Deep Learning Practic

Clasa torch.optim.SGD implementează algoritmul fundamental Stochastic Gradient Descent pentru actualizarea ponderilor rețelei în sensul opus gradientului de pierdere. Include opțiuni pentru momentum fizic și regularizare $L_2$ prin weight_decay.

Exemplu de utilizare

import torch
import torch.nn as nn
import torch.optim as optim

model = nn.Linear(10, 2)
# Configurare SGD cu rata de învățare 0.01 și momentum 0.9
optimizator = optim.SGD(model.parameters(), lr=0.01, momentum=0.9, weight_decay=1e-4)

# Pas tipic de optimizare
optimizator.zero_grad()
# ... calcul loss ...
# loss.backward()
optimizator.step()

Rămâne optimizatorul preferat în modelele clasice de viziune computerizată (ResNet, ConvNeXt) datorită capacității excelente de generalizare.