Cuantizare Post-Antrenare (PTQ) și Quantization-Aware Training (QAT) în PyTorch & Deep Learning Practic

Cuantizarea convertește greutățile și activările rețelei din virgulă mobilă de 32 de biți (FP32) în numere întregi pe 8 biți (INT8). Aceasta reduce dimensiunea modelului pe disc și în memorie cu 75% și dublează viteza de calcul pe procesoare cu suport VNNI.

import torch
from torch.ao.quantization import quantize_dynamic

model = MyNLPModel()

# Cuantizare dinamică INT8 pentru straturile Linear (ideală pentru Transformatoare)
quantized_model = quantize_dynamic(
    model,
    {torch.nn.Linear},  # Cuantizează doar straturile liniare grele
    dtype=torch.qint8
)

print("Model cuantizat cu succes în INT8.")

Dacă degradarea acurateței după PTQ este inacceptabilă, se utilizează QAT (Quantization-Aware Training), care simulează efectele rotunjirii în timpul antrenării pentru a permite ponderilor să se adapteze.