Parametrul weight_decay aplică o regularizare de tip L2 în optimizatorul AdamW, scăzând o mică fracțiune din magnitudinea fiecărei ponderi la fiecare pas de actualizare.
# Previne memorarea mecanică (overfitting) a răspunsurilor din dataset
weight_decay = 0.01
print(f"Coeficient de regularizare: {weight_decay}")Pentru adaptările LoRA, o valoare cuprinsă între 0.01 și 0.001 asigură o generalizare optimă.
Întrebări & Exemple practice:
Regularizarea Ponderilor (weight_decay = 0.01)Ai o întrebare despre Regularizarea Ponderilor (weight_decay = 0.01) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.