Dacă setați un contextLength de 128k pe un model local, consumul de VRAM pentru KV Cache poate depăși memoria fizică:
{
"models": [
{
"title": "Ollama Local",
"provider": "ollama",
"model": "qwen2.5-coder:7b",
"contextLength": 32768,
"completionOptions": {
"maxTokens": 4096,
"temperature": 0.2
}
}
]
}O fereastră de 32k tokeni oferă suficient spațiu pentru fișiere mari păstrând generarea rapidă.
Întrebări & Exemple practice:
Calibrarea Parametrului contextLength în Funcție de HardwareAi o întrebare despre Calibrarea Parametrului contextLength în Funcție de Hardware sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.