Pentru a antrena modele generative autoregresive (Decoder-only), matricea de atenție este mascată: valorile de deasupra diagonalei principale primesc valoarea -inf, devenind 0 după aplicarea funcției Softmax.
Exemplu PyTorch
import torch
seq_len = 4
scores = torch.randn(seq_len, seq_len)
causal_mask = torch.triu(torch.full((seq_len, seq_len), float('-inf')), diagonal=1)
masked_scores = scores + causal_mask
attn_probs = torch.softmax(masked_scores, dim=-1)
print(attn_probs)Fiecare rând i poate acorda atenție strict pozițiilor ≤ i.
Întrebări & Discuții: Mascarea Cauzală (Causal Masking): Prevenirea Scurgerilor de Informație din Viitor
Ai o întrebare despre Mascarea Cauzală (Causal Masking): Prevenirea Scurgerilor de Informație din Viitor sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.