În timpul antrenării unui model cauzal autoregresiv (Causal LM), completarea secvențelor (padding) trebuie aplicată pe partea dreaptă (padding_side="right"). Completarea pe stânga este utilizată doar la inferență în loturi (batch inference).
# Unsloth configurează automat padding_side="right" la inițializare
tokenizer.padding_side = "right"
# Asigurarea că există un token de pad definit
if tokenizer.pad_token is None:
tokenizer.pad_token = tokenizer.eos_token
print(f"Padding token: {tokenizer.pad_token} (ID: {tokenizer.pad_token_id})")
print(f"Direcție padding: {tokenizer.padding_side}")Completarea pe dreapta asigură calculul corect al măștilor de atenție și previne erorile de poziționare RoPE.
Întrebări & Exemple practice:
Gestionarea Completării Secvențelor (padding_side=”right”)Ai o întrebare despre Gestionarea Completării Secvențelor (padding_side=”right”) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.