Reguli de Broadcasting și Alinierea Dimensiunilor în PyTorch în PyTorch & Deep Learning Practic

Broadcasting-ul permite executarea operațiilor aritmetice pe perechi de tensori care au forme (shapes) diferite, fără a copia explicit datele în memorie. Doi tensori sunt compatibili pentru broadcasting dacă, începând de la ultima dimensiune și parcurgând spre stânga:

1. Dimensiunile respective sunt egale; SAU
2. Una dintre dimensiuni este exact 1.

import torch

# Tensor A: formă (4, 1, 8)
a = torch.ones(4, 1, 8)

# Tensor B: formă (5, 8) -> se aliniază la (1, 5, 8)
b = torch.ones(5, 8)

# Rezultatul are forma (4, 5, 8)
c = a + b
print("Formă rezultată din broadcasting:", c.shape)

Broadcasting-ul optimizează utilizarea benzii de memorie GPU, evitând alocarea unor tensori intermediari masivi.