Descriere & Utilizare
În mod implicit, pentru a rula rapid chiar și pe calculatoare vechi, Ollama pornește modelele cu o fereastră de context restrânsă de doar 2048 de tokeni (aproximativ 1500 de cuvinte).
Dacă ai un calculator modern cu 16GB sau 32GB RAM și vrei ca modelul să citească capitole întregi de carte sau fișiere mari de cod, setezi PARAMETER num_ctx 8192 sau 32768.
Cum să o reții ușor
💡 Lățimea biroului de studiu: pe un birou mic încap doar două foi deschise; pe un birou mare poți întinde simultan cinci dosare groase fără să se suprapună.
Opțiuni și parametri tehnici
- Alocă o matrice mai mare de memorie KV Cache în VRAM la pornirea instanței.
Exemple practice și cazuri de utilizare
PARAMETER num_ctx 8192PARAMETER num_ctx 32768
Sfaturi de configurare & capcane
Atenție la consumul de memorie: mărirea num_ctx de la 2048 la 32768 crește consumul de VRAM cu 1-3 GB în funcție de model.
Comenzi și ghiduri înrudite
modelfile-parameter-temperature: Comandă asociată din acest modul.ollama-create: Comandă asociată din acest modul.ollama-gpu-offload: Comandă asociată din acest modul.