tensor.permute(): Reordonarea Arbitrară a Tuturor Axelor în PyTorch & Deep Learning Practic

Metoda tensor.permute() reordonează toate dimensiunile unui tensor în ordinea nouă indicată prin argumentele dims. Este metoda principală pentru conversia formatelor de viziune (de la NCHW la NHWC) și rearanjarea capetelor de atenție (Multi-Head Attention).

Exemplu pentru atenție în Transformer

import torch

# Forma: [Batch, Secvență, Capete, DimensiuneCap]
x = torch.randn(16, 128, 8, 64)
# Reordonare în: [Batch, Capete, Secvență, DimensiuneCap]
q = x.permute(0, 2, 1, 3)
print(q.shape)  # torch.Size([16, 8, 128, 64])

Similar transpunerii, rezultatul este o vedere non-contiguă asupra memoriei.