La începutul antrenării, adaptorii LoRA au ponderi inițiale care generează gradienți mari. Dacă aplicăm imediat o rată de învățare mare, modelul poate suferi un șoc numeric. Perioada de încălzire (warmup) începe de la zero și crește rata de învățare liniar pe parcursul primilor pași.
# Recomandat: 5-10 pași pentru antrenări rapide sau 5% din pașii totali
warmup_steps = 10
# Sau procentual:
warmup_ratio = 0.05
print(f"Pași de încălzire alocați: {warmup_steps}")Această măsură previne salturile bruște ale funcției de pierdere (loss spikes) în primele iterații.
Întrebări & Exemple practice:
Perioada de Încălzire (warmup_steps & warmup_ratio)Ai o întrebare despre Perioada de Încălzire (warmup_steps & warmup_ratio) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.