Alegerea Ratei Optime de Învățare (learning_rate) în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Pentru adaptarea LoRA și QLoRA, rata optimă de învățare este considerabil mai mare decât la antrenarea de la zero. Valorile recomandate sunt:

• learning_rate = 2e-4 (0.0002): Valoarea optimă standard pentru majoritatea modelelor de 7B și 8B.
• learning_rate = 1e-4: Recomandat pentru modele mai mari (14B sau 70B) pentru a evita divergența.
• learning_rate = 5e-5: Pentru rafinare fină a unui model deja aliniat (Instruct).

# Rata de învățare standard pentru Llama 3 8B QLoRA
learning_rate = 2e-4
print("Rata de învățare aleasă:", learning_rate)

O rată prea mare produce colapsul modelului (generare de repetiții fără sens), iar o rată prea mică împiedică asimilarea noilor tipare.