SamplingParams controlează modul în care modelul selectează următorul token din distribuția de probabilitate (logits). Este compatibil cu toți parametrii de decodare moderni.
Exemplu cu penalizări și oprire
from vllm import SamplingParams
params = SamplingParams(
temperature=0.3,
top_p=0.85,
top_k=40,
presence_penalty=0.1,
frequency_penalty=0.2,
max_tokens=512,
stop=["###", "Sfârșit răspuns"]
)Permite eliminarea repetițiilor și limitarea strictă a formatului generat.
Întrebări & Exemple practice:
Clasa SamplingParams în vLLM: Parametrii Atomici de Eșantionare și GenerareAi o întrebare despre Clasa SamplingParams în vLLM: Parametrii Atomici de Eșantionare și Generare sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.