torch.nn.CrossEntropyLoss: Funcția de Pierdere pentru Clasificare în PyTorch & Deep Learning Practic

Modulul torch.nn.CrossEntropyLoss calculează pierderea de entropie încrucișată între logiturile ne-normalizate emise de model și etichetele reale de clasă. Combină intern într-un singur pas stabil numeric operațiile de LogSoftmax și NLLLoss.

Exemplu de calcul

import torch
import torch.nn as nn

criteriu = nn.CrossEntropyLoss()
# Logituri emise de model pentru 3 clase (fără softmax aplicat!)
logits = torch.tensor([[2.0, 1.0, 0.1], [0.5, 2.5, 0.3]])
# Clasele țintă corecte
tinte = torch.tensor([0, 1])

loss = criteriu(logits, tinte)
print("Pierderea calculată:", loss.item())

Este criteriul standard folosit la pre-antrenarea și instruirea tuturor modelelor mari de limbaj (LLM).