PARAMETER num_ctx (lungimea contextului) în Ollama CLI & Ghid Local

PARAMETER num_ctx <int>

Ce face PARAMETER num_ctx (lungimea contextului)

num_ctx este numărul maxim de tokeni pe care modelul îi are în memorie. Pagina Context length spune că implicit Ollama alege contextul după VRAM: 4k sub 24 GiB, 32k între 24 și 48 GiB și 256k de la 48 GiB în sus. Modelele din cloud folosesc implicit contextul maxim. Tabelul din Modelfile Reference (2048) și FAQ-ul (4096) dau valori mai vechi.

Pentru agenți, căutare web și unelte de programare, documentația recomandă cel puțin 64000 de tokeni. Un context mai mare cere mai multă memorie, iar cererile paralele îl înmulțesc: 2K de context cu 4 cereri paralele înseamnă 8K.

Contextul se setează în mai multe locuri: PARAMETER num_ctx în Modelfile, /set parameter num_ctx în sesiune, options.num_ctx în API, glisorul din setările aplicației sau OLLAMA_CONTEXT_LENGTH pentru server. Contextul alocat apare în coloana CONTEXT din ollama ps.

Exemple practice

Exemplul 1: Model cu context mai mare

FROM llama3.2
PARAMETER num_ctx 4096

Exemplul 2: Context implicit pentru tot serverul

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

Exemplul 3: Verificarea contextului alocat

ollama ps

Rezultat

NAME             ID              SIZE      PROCESSOR    CONTEXT    UNTIL
gemma4:latest    c6eb396dbd59    9.6 GB    100% GPU     131072     2 minutes from now

Greșeli frecvente și bune practici

• Te bazezi pe valoarea veche de 2048 de tokeni. Valoarea implicită actuală depinde de VRAM.
• Mărești contextul până când modelul trece parțial pe CPU. Verifică PROCESSOR în ollama ps; documentația recomandă evitarea descărcării pe CPU.
• Încerci să setezi contextul prin API-ul compatibil OpenAI. Acolo nu există câmp pentru el; creează un model cu PARAMETER num_ctx.

Comenzi înrudite

• modelfile-parameter
• ollama-ps
• ollama-variabile-mediu
• ollama-gpu-offload