Operații In-Place în PyTorch și Avertizările Autograd în PyTorch & Deep Learning Practic

În PyTorch, orice metodă al cărei nume se termină cu caracterul underscore (cum ar fi add_(), mul_(), zero_() sau copy_()) modifică datele direct în bufferul de memorie existent al tensorului (operație in-place), fără a aloca un nou tensor de ieșire.

import torch

t = torch.tensor([1.0, 2.0, 3.0])
t.add_(5.0)  # Modifică t direct: devine [6.0, 7.0, 8.0]
print("După add_:", t)

Deși operațiile in-place economisesc memorie RAM/VRAM, ele pot declanșa eroarea RuntimeError: a view of a leaf Variable that requires grad is being used in an in-place operation dacă valoarea originală a tensorului era necesară motorului autograd pentru calculul gradientelor în backward pass.