Controlul Creativității prin Parametrii temperature & top_p în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Acești parametri controlează etapa de eșantionare a tokenilor din distribuția softmax:

• temperature: Valori mici (0.1 – 0.3) produc răspunsuri deterministe și precise (recomandat pentru cod, extragere de date și matematică). Valori mari (0.7 – 0.9) sporesc varietatea lexicală.
• top_p (Nucleus Sampling): Păstrează doar tokenii a căror probabilitate cumulată atinge pragul specificat (ex: 90%).

outputs = model.generate(
    **inputs,
    max_new_tokens=256,
    temperature=0.3,
    top_p=0.9,
    do_sample=True, # Obligatoriu True pentru a activa temperature și top_p
)

Pentru determinism complet (greedy decoding), setați do_sample=False.