Parametrul -ngl (sau --n-gpu-layers) specifică câte dintre straturile rețelei neuronale (din totalul de 32 pentru 8B sau 80 pentru 70B) sunt încărcate în VRAM-ul plăcii grafice.
# Descărcare completă pe GPU (valoarea 99 asigură descărcarea tuturor straturilor)
./build/bin/llama-cli -m model.gguf -ngl 99
# Descărcare hibridă parțială (ex: pe o placă video cu doar 6 GB VRAM)
# 20 de straturi pe GPU, restul procesate pe CPU:
./build/bin/llama-cli -m model.gguf -ngl 20Descărcarea chiar și a unui număr parțial de straturi crește simțitor viteza comparativ cu rularea exclusivă pe procesor.
Întrebări & Exemple practice:
Descărcarea Straturilor pe GPU (-ngl / –n-gpu-layers)Ai o întrebare despre Descărcarea Straturilor pe GPU (-ngl / –n-gpu-layers) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.