Parametrii de penalizare ajustează valorile logit înainte de aplicarea funcției Softmax pentru a descuraja modelul de la a repeta aceleași cuvinte sau fraze în răspunsul generat.
Formula de penalizare a logit-ului pentru tokenul i:
Logit'(i) = Logit(i) - (Count(i) * frequency_penalty) - (I(Count(i) > 0) * presence_penalty)
- Presence Penalty: Penalizare fixă aplicată dacă tokenul a apărut cel puțin o dată
în textul generat până acum (încurajează introducerea de idei noi).
- Frequency Penalty: Penalizare proporțională cu numărul de apariții ale tokenului
(descurajează utilizarea repetată a acelorași cuvinte specifice).Valori recomandate: Între 0.1 și 0.5. Valori prea mari pot forța modelul să schimbe subiectul sau să comită erori gramaticale pentru a evita vocabularul necesar.
Întrebări & Discuții: Frequency și Presence Penalty în LLM: Combaterea Repetițiilor Monotone
Ai o întrebare despre Frequency și Presence Penalty în LLM: Combaterea Repetițiilor Monotone sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.