Ce face PARAMETER: toți parametrii din Modelfile
Instrucțiunea PARAMETER fixează în model un parametru folosit când modelul rulează. Aceiași parametri se pot da temporar prin options în API (/api/generate, /api/chat, /api/embed) sau cu /set parameter în sesiunea ollama run.
Tabelul de mai jos este lista din Modelfile Reference. Pentru stop poți scrie mai multe instrucțiuni separate, câte una pentru fiecare secvență. În sesiunea interactivă mai există num_gpu (numărul de straturi trimise pe GPU), care nu apare în tabelul Modelfile.
Valoarea implicită pentru num_ctx este contradictorie în documentație: tabelul Modelfile spune 2048, FAQ-ul 4096, iar pagina Context length și ollama serve --help spun 4k / 32k / 256k în funcție de VRAM. Vezi pagina dedicată num_ctx.
Sintaxă și opțiuni
| Opțiune / Parametru | Descriere |
|---|---|
num_ctx <int> |
Dimensiunea ferestrei de context folosite pentru generarea tokenului următor. Exemplu: num_ctx 4096. |
repeat_last_n <int> |
Cât de departe în urmă se uită modelul ca să evite repetițiile. Implicit 64; 0 = dezactivat; -1 = num_ctx. |
repeat_penalty <float> |
Cât de puternic sunt penalizate repetițiile (1.5 penalizează mai tare, 0.9 este mai permisiv). Implicit 1.0, adică dezactivat. |
temperature <float> |
Temperatura modelului; mai mare înseamnă răspunsuri mai creative. Implicit 0.8. |
seed <int> |
Sămânța numerelor aleatoare. Un număr fix produce același text pentru același prompt. Implicit 0. |
stop <string> |
Secvență de oprire: când apare, generarea se încheie. Se pot pune mai multe instrucțiuni stop. |
num_predict <int> |
Numărul maxim de tokeni generați. Implicit -1 (generare nelimitată). |
draft_num_predict <int> |
Numărul maxim de tokeni speculativi (draft) pe pas, când există un model draft. Modelele draft separate au implicit 4; tensorii MTP încorporați cer setarea explicită. 0 dezactivează drafting-ul speculativ. |
top_k <int> |
Reduce probabilitatea de text fără sens: 100 dă răspunsuri mai variate, 10 mai conservatoare. Implicit 40. |
top_p <float> |
Lucrează împreună cu top_k: 0.95 dă text mai divers, 0.5 mai concentrat. Implicit 0.9. |
min_p <float> |
Alternativă la top_p: probabilitatea minimă a unui token, relativ la cel mai probabil token. Cu 0.05 și un token de top cu 0.9, se elimină tokenii sub 0.045. Implicit 0.0. |
Exemple practice
Exemplul 1: Modelfile cu mai mulți parametri
FROM llama3.2
PARAMETER temperature 0.7
PARAMETER num_ctx 8192
PARAMETER top_k 40
PARAMETER stop "AI assistant:"Exemplul 2: Aceiași parametri, temporar, prin API
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2",
"prompt": "Why is the sky blue?",
"options": {"num_ctx": 4096, "temperature": 0.7}
}'Exemplul 3: Ce parametri are un model existent
ollama show llama3.2 --parametersGreșeli frecvente și bune practici
- Pui mai multe secvențe pe aceeași linie
PARAMETER stop. În Modelfile fiecare secvență are propria instrucțiune. - Setezi
seedși aștepți rezultate identice cu alt prompt sau alți parametri. Reproducerea ține doar pentru același prompt. - Mărești
num_ctxfără să verifici memoria. Un context mai mare cere mai multă memorie.