torch.nn.Linear: Stratul Liniar Complet Conectat (Dense Layer) în PyTorch & Deep Learning Practic

Modulul torch.nn.Linear aplică o transformare liniară afină asupra datelor de intrare conform ecuației fundamentale $y = x A^T + b$, unde $A$ este matricea de ponderi antrenabile (weights) de formă [out_features, in_features], iar $b$ este vectorul de bias.

Exemplu de definire și propagare

import torch
import torch.nn as nn

# Proiecție de la 512 dimensiuni la 128 dimensiuni
strat = nn.Linear(in_features=512, out_features=128)
x = torch.randn(32, 512)  # lot de 32 de exemple
iesire = strat(x)
print(iesire.shape)  # torch.Size([32, 128])

Este blocul de construcție cel mai răspândit în inteligența artificială, prezent în perceptroni, proiecțiile Q/K/V de atenție și rețelele MLP.