torch.nn.ReLU: Funcția Neliniară Rectified Linear Unit în PyTorch & Deep Learning Practic

Modulul torch.nn.ReLU aplică funcția de activare standard Rectified Linear Unit element cu element pe tensorul primit: $f(x) = \max(0, x)$. Valorile negative sunt anulate la zero, iar cele pozitive rămân neschimbate.

Exemplu în cod

import torch
import torch.nn as nn

relu = nn.ReLU()
valori = torch.tensor([-2.0, -0.5, 0.0, 1.5, 3.0])
print(relu(valori))  # tensor([0.0000, 0.0000, 0.0000, 1.5000, 3.0000])

Datorită derivatei sale constante egale cu 1 pentru valori pozitive, ReLU combate eficient problema estompării gradientului (vanishing gradient).