Planificatorul de Rată Cosinusoidal (lr_scheduler_type=”cosine”) în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Sintaxă & invocare
lr_scheduler_type = "cosine"

Planificatorul cosinusoidal (cosine) pornește de la valoarea maximă a ratei de învățare și o scade treptat urmând o jumătate de perioadă a funcției cosinus până aproape de zero la finalul antrenării.

# Configurarea planificatorului cosinusoidal în TrainingArguments
lr_scheduler = "cosine"

# Asigură că ultimele actualizări de ponderi sunt mici și rafinează soluția
print(f"Tip planificator activat: {lr_scheduler}")

Este cel mai performant planificator pentru antrenări pe mai multe epoci sau peste 100 de pași.

Învață AI • Comunitate & Q&A

Întrebări & Exemple practice: Planificatorul de Rată Cosinusoidal (lr_scheduler_type=”cosine”)

Ai o întrebare despre Planificatorul de Rată Cosinusoidal (lr_scheduler_type=”cosine”) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.