Rate de Învățare Diferențiate pe Grupuri de Parametri în PyTorch & Deep Learning Practic

În procedurile de transfer learning și fine-tuning, este de dorit ca straturile pre-antrenate din nucleul modelului (backbone) să fie actualizate cu o rată de învățare mică (ex: 1e-5) pentru a nu distruge trăsăturile deja învățate, în timp ce capul nou de clasificare (classifier head) este antrenat mai agresiv (ex: 1e-3).

import torch
import torch.optim as optim

backbone = model.backbone
head = model.classifier

# Definirea grupurilor de parametri cu rate de învățare și weight decay independente
param_groups = [
    {"params": backbone.parameters(), "lr": 1e-5, "weight_decay": 0.01},
    {"params": head.parameters(), "lr": 1e-3, "weight_decay": 0.0}
]

optimizer = optim.AdamW(param_groups)

De asemenea, este o bună practică să excludem bias-urile și parametrii de LayerNorm/BatchNorm de la penalizarea prin weight_decay.