torch.nn.GELU: Activarea Gaussian Error Linear Unit în PyTorch & Deep Learning Practic

Modulul torch.nn.GELU implementează activarea Gaussian Error Linear Unit: $f(x) = x \cdot \Phi(x)$, unde $\Phi(x)$ este funcția de distribuție cumulativă a normalei standard. Spre deosebire de ReLU, GELU este continuu derivabilă peste tot și admite valori ușor negative.

Exemplu de utilizare

import torch
import torch.nn as nn

gelu = nn.GELU(approximate="tanh")
intrare = torch.randn(4, 768)
activat = gelu(intrare)
print(activat.shape)  # torch.Size([4, 768])

Este funcția de activare preferată în rețelele Transformer moderne datorită fluidității gradientelor calculate la optimizare.