Calcul Direct de Gradiente cu torch.autograd.grad în PyTorch & Deep Learning Practic

În timp ce metoda standard tensor.backward() acumulează gradientele direct în atributul .grad al fiecărei frunze din graful computațional, funcția torch.autograd.grad() calculează și returnează explicit tupla gradientelor specificate fără a modifica starea internă a tensorilor.

import torch

x = torch.tensor([2.0, 3.0], requires_grad=True)
y = x[0]**3 + x[1]**2

# Calcul explicit al gradientului dy/dx
grad_x = torch.autograd.grad(outputs=y, inputs=x)[0]
print("Gradiente calculate:", grad_x)  # [3*2^2, 2*3] = [12.0, 6.0]

Această funcție este esențială pentru implementarea rețelelor neuronale informate de fizică (PINNs), regularizarea gradient penalty în modele WGAN-GP și calculul derivatelor de ordinul doi (Hessian-Vector Products).