În timp ce librăria PEFT clasică folosește adesea lora_dropout=0.05, Unsloth a demonstrat că dropout-ul pe modelele pre-antrenate mari aduce o penalizare masivă de viteză fără a îmbunătăți generalizarea.
# Setarea lora_dropout=0 permite Unsloth să apeleze nucleele fuzionate direct pe GPU
lora_dropout = 0
# Acest lucru face ca faza de antrenare să fie cu 30-50% mai rapidă
print("Zero-dropout configurat: nuclee Triton fuzionate active!")Dacă lora_dropout este setat la o valoare diferită de 0, Unsloth va reveni parțial la operațiile PyTorch standard, pierzând avantajul de viteză.
Întrebări & Exemple practice:
Optimizarea Dropout-ului la Valoarea 0 (lora_dropout = 0)Ai o întrebare despre Optimizarea Dropout-ului la Valoarea 0 (lora_dropout = 0) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.