Lucrul cu Tensori Cuantizați INT8 și Formate FP8 în PyTorch în PyTorch & Deep Learning Practic

Un tensor cuantizat reține două metadate fundamentale alături de numerele întregi: scale (valoarea reală a unui pas) și zero_point (valoarea întreagă corespunzătoare valorii reale 0.0). Formula de decuantizare este:

real_value = (quantized_value - zero_point) * scale

import torch

x = torch.tensor([-1.0, 0.0, 1.0, 2.0], dtype=torch.float32)

scale = 0.05
zero_point = 20

# Conversie manuală în tensor INT8 cuantizat
q_x = torch.quantize_per_tensor(x, scale=scale, zero_point=zero_point, dtype=torch.qint8)
print("Valori cuantizate întregi:", q_x.int_repr())

# Reconstrucție (decuantizare)
reconstructed = q_x.dequantize()
print("Diferență maximă de precizie:", (x - reconstructed).abs().max().item())

În PyTorch 2.x, suportul pentru noile formate FP8 (E4M3 și E5M2) permite antrenarea și inferența modelelor de sute de miliarde de parametri pe plăcile NVIDIA Hopper (H100).