În mod implicit, llama.cpp poate inițializa un context mic (ex: 512 sau 2048 tokeni) pentru a conserva memoria RAM. Pentru a procesa documente mari sau istorice lungi de conversație, măriți parametrul -c (sau --ctx-size).
# Alocare fereastră de context de 8.192 de tokeni
./build/bin/llama-cli -m model.gguf -c 8192 -ngl 99Fiecare dublare a contextului mărește dimensiunea cache-ului KV în memorie. Pentru economie pe context mare, consultați opțiunile de cuantizare KV cache.
Întrebări & Exemple practice:
Setarea Ferestrei de Context (-c / –ctx-size)Ai o întrebare despre Setarea Ferestrei de Context (-c / –ctx-size) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.