vLLM folosește șabloane Jinja2 pentru a transforma lista de mesaje dintr-o conversație multi-turn într-un singur șir de text brut formatat corect cu tokeni speciali. Cu –chat-template, poți înlocui șablonul implicit al modelului cu o versiune personalizată.
# Exemplu de custom_template.jinja:
{% for message in messages %}
<|im_start|>{{ message['role'] }}
{{ message['content'] }}<|im_end|>
{% endfor %}
<|im_start|>assistant
Control deplin: Permite ajustarea formatului de conversație pentru unelte, roluri sau instrucțiuni ascunse de sistem.
Întrebări & Exemple practice:
Personalizarea Șablonului Jinja de Conversație: –chat-templateAi o întrebare despre Personalizarea Șablonului Jinja de Conversație: –chat-template sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.