Cross-Entropy Loss este funcția obiectiv de bază optimizată în timpul pre-antrenării modelelor autoregresive, iar Perplexitatea (PPL) reprezintă exponențiala acestei pierderi, măsurând cât de „surprins” este modelul la apariția următorului token.
import torch
import torch.nn.functional as F
# Logits generați de model pentru o secvență: shape (batch, seq_len, vocab_size)
logits = torch.randn(2, 5, 32000)
# Tokenii reali țintă: shape (batch, seq_len)
targets = torch.randint(0, 32000, (2, 5))
# Calcularea pierderii Cross-Entropy:
loss = F.cross_entropy(logits.view(-1, 32000), targets.view(-1))
perplexity = torch.exp(loss)
print(f"Cross-Entropy Loss: {loss.item():.4f}")
print(f"Perplexitate (PPL): {perplexity.item():.2f}")Interpretare: O perplexitate de 10 înseamnă că modelul este la fel de nesigur ca și cum ar alege aleatoriu între 10 cuvinte posibile la fiecare pas.
Întrebări & Discuții: Cross-Entropy Loss și Perplexity (PPL) în LLM: Metrice Fundamentale
Ai o întrebare despre Cross-Entropy Loss și Perplexity (PPL) în LLM: Metrice Fundamentale sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.