torch.optim.Adam: Optimizatorul Clasic Adaptive Moment Estimation în PyTorch & Deep Learning Practic

Clasa torch.optim.Adam combină avantajele algoritmilor AdaGrad și RMSProp, calculând rate adaptive de învățare pentru fiecare parametru individual pe baza mediei mobile a gradientelor și a pătratului gradientelor.

Inițializare și rulare

import torch
import torch.nn as nn
import torch.optim as optim

model = nn.Sequential(nn.Linear(20, 64), nn.ReLU(), nn.Linear(64, 1))
optimizator = optim.Adam(model.parameters(), lr=1e-3, betas=(0.9, 0.999), eps=1e-8)

optimizator.zero_grad()
# loss.backward()
optimizator.step()

Este optimizatorul de bază cel mai robust pentru prototipare rapidă, necesitând ajustări minime ale ratei de învățare.