Pe serverele echipate cu mai multe plăci grafice, Ollama încearcă implicit să umple prima placă video la capacitate maximă înainte de a trece la a doua. Setând OLLAMA_SCHED_SPREAD=1, Ollama va împărți straturile modelului în mod egal între toate plăcile disponibile, echilibrând sarcina termică și lățimea de bandă.
# Echilibrarea straturilor pe 2x RTX 3090:
export OLLAMA_SCHED_SPREAD=1
ollama serve
Disipare termică: Previne supraîncălzirea primului GPU și optimizează utilizarea magistralei PCIe.
Întrebări & Exemple practice:
Variabila OLLAMA_SCHED_SPREAD: Distribuirea Echilibrată pe Multiple GPU-uriAi o întrebare despre Variabila OLLAMA_SCHED_SPREAD: Distribuirea Echilibrată pe Multiple GPU-uri sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.