Clasa GenerationConfig centralizează toate setările de eșantionare matematică utilizate de model.generate(): temperature (creativitate vs determinism), top_p (nucleu de probabilitate), top_k și repetition_penalty (descurajarea buclelor repetitive).
from transformers import GenerationConfig
gen_config = GenerationConfig(
max_new_tokens=256,
do_sample=True,
temperature=0.6,
top_p=0.92,
repetition_penalty=1.15,
pad_token_id=tokenizer.eos_token_id
)
outputs = model.generate(**inputs, generation_config=gen_config)Salvare și distribuire: Fișierul generation_config.json poate fi salvat în repo-ul modelului pentru a impune parametrii recomandați la nivel global.
Întrebări & Exemple practice:
GenerationConfig: Controlul Decodării (temperature, top_p, top_k, repetition_penalty)Ai o întrebare despre GenerationConfig: Controlul Decodării (temperature, top_p, top_k, repetition_penalty) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.