Parametrii logprobs și prompt_logprobs permit extragerea valorilor logaritmice ale probabilităților atribuite de model tokenilor generați și celor din promptul original. Sunt indispensabili pentru evaluarea gradului de certitudine și detectarea halucinațiilor.
from vllm import SamplingParams
# Solicită primele 3 alternative probabile pentru fiecare token:
sampling_params = SamplingParams(logprobs=3)
outputs = llm.generate(["Capitala Franței este"], sampling_params)
# Inspecție probabilități:
for output in outputs:
print(output.outputs[0].logprobs)Clasificare și calibrare: Permite calcularea perplexității și construirea de guardrails bazate pe nivelul de încredere.
Întrebări & Exemple practice:
Returnarea Log-Probabilităților Tokenilor: logprobs și prompt_logprobsAi o întrebare despre Returnarea Log-Probabilităților Tokenilor: logprobs și prompt_logprobs sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.