torch.nn.Dropout: Regularizarea prin Dezactivare Aleatorie în PyTorch & Deep Learning Practic

Stratul torch.nn.Dropout anulează aleatoriu elemente din tensorul de intrare cu o probabilitate $p$ pe durata antrenării (model.train()), scalând elementele rămase cu factorul $\frac{1}{1-p}$ pentru a păstra valoarea medie neschimbată. În timpul evaluării (model.eval()), Dropout este dezactivat automat.

Exemplu de utilizare

import torch
import torch.nn as nn

dropout = nn.Dropout(p=0.2)
x = torch.ones(5)

# În mod antrenare (unele valori devin 0)
print(dropout(x))

# În mod evaluare (rămâne neschimbat)
dropout.eval()
print(dropout(x))  # tensor([1., 1., 1., 1., 1.])

Asigură că rețeaua nu dezvoltă co-dependențe rigide între neuroni individuali.