dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
LLM Toți termenii

Ce este Parametrul Logit Bias: Modificarea Manuală a Probabilității Tokenilor Specifici?

Algoritmi de Decodare și Eșantionare OpenAI API / vLLM Q&A AI / Distribuie cod

Adunarea unei constante direct pe logit-ul unui token înainte de Softmax pentru interzicere sau favorizare.

Denumire completă

logit_bias = {'1234': -100, '5678': 5.0}

logit_bias oferă control chirurgical asupra vocabularului: o valoare de -100 face ca tokenul respectiv să devină imposibil de generat (probabilitate 0), în timp ce o valoare pozitivă (+5) crește considerabil șansele de apariție.

Exemplu de forțare a răspunsului binar

# Forțarea modelului să răspundă doar cu tokenul 'DA' sau 'NU'
# ID token 'DA': 15200 | ID token 'NU': 8421
bias = {
    15200: 10.0,
    8421: 10.0
}

Permite construirea de clasificatori 100% deterministici din orice model generativ de limbaj.

Învață AI • Comunitate & Q&A

Întrebări & Discuții: Parametrul Logit Bias: Modificarea Manuală a Probabilității Tokenilor Specifici

Ai o întrebare despre Parametrul Logit Bias: Modificarea Manuală a Probabilității Tokenilor Specifici sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.