Când modelul întâlnește o mostră atipică sau o secvență cu erori mari în dataset, gradienții calculați pot deveni enormi, destabilizând parametrii rețelei. Gradient clipping scalează vectorul de gradient dacă norma sa depășește pragul max_grad_norm.
# Pragul standard recomandat în Unsloth
max_grad_norm = 1.0
print(f"Prag de trunchiere gradienți: {max_grad_norm}")Această setare acționează ca o centură de siguranță împotriva valorilor NaN sau Inf în timpul antrenării.
Întrebări & Exemple practice:
Trunchierea Gradienților (max_grad_norm = 1.0)Ai o întrebare despre Trunchierea Gradienților (max_grad_norm = 1.0) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.