Încărcarea Șabloanelor Chat cu get_chat_template în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Modelele LLM de tip „Instruct” sau „Chat” necesită tokeni speciali de delimitare între rolurile conversaționale (sistem, utilizator, asistent). Utilizarea unui șablon greșit duce la degradarea severă a calității răspunsurilor. Unsloth include modulul get_chat_template care configurează corect tokenizerul.

from unsloth.chat_templates import get_chat_template

# Aplicarea șablonului standard ChatML pe tokenizer
tokenizer = get_chat_template(
    tokenizer,
    chat_template="chatml", # Opțiuni: "llama-3", "chatml", "mistral", "gemma"
    mapping={"role": "from", "content": "value", "user": "human", "assistant": "gpt"}, # Pentru dataset-uri stil ShareGPT
)

print("Tokenizer configurat cu tokenii speciali ChatML!")

Această funcție adaugă automat tokenii de început și sfârșit de mesaj (ex: <|im_start|> și <|im_end|>) în vocabularul activ.