Ce este Perplexitatea (PPL) și Funcția Cross-Entropy Loss: Măsurarea Acurateței unui Model Lingvistic?

Perplexitatea măsoară cât de „surprins” este modelul când citește un text nou. O perplexitate de 10 înseamnă că la fiecare pas modelul a ezitat între echivalentul a 10 opțiuni la fel de probabile. Cu cât PPL este mai mică, cu atât modelul stăpânește mai bine limba.

Calcul în PyTorch

import torch
import torch.nn.functional as F

# Pierdere Cross-Entropy medie pe secvență
loss = F.cross_entropy(logits.view(-1, vocab_size), targets.view(-1))
perplexitate = torch.exp(loss)

print(f"Loss: {loss.item():.4f} | Perplexitate: {perplexitate.item():.2f}")

Este metrica primară monitorizată în faza de Pre-training și continuarea antrenării.