Descriere & Utilizare
Generarea pe placa video (GPU) este de 10-30 de ori mai rapidă decât pe procesor (CPU). Ollama calculează automat dimensiunea VRAM-ului plăcii tale video (Nvidia CUDA, Apple Silicon Metal, AMD ROCm).
Dacă un model are 33 de straturi și ai o placă video cu memorie modestă (ex: 6GB VRAM), Ollama va plasa inteligent 20 de straturi pe GPU și restul de 13 pe CPU, asigurând rularea chiar și atunci când modelul depășește memoria video.
Cum să o reții ușor
💡 Împărțirea bagajelor într-o călătorie: pui lucrurile cele mai grele și urgente în mașina sport rapidă (GPU), iar ce nu mai încape pui în rulota atașată în spate (CPU/RAM).
Opțiuni și parametri tehnici
- Detectează memoria VRAM liberă la fiecare apel.
- Afișează în loguri linia:
loaded 33/33 layers to GPU(complet accelerat).
Exemple practice și cazuri de utilizare
- Pe procesoarele Apple M1/M2/M3/M4: folosește memoria unificată prin Apple Metal la viteză de top.
- Pe plăci Nvidia: folosește librăriile CUDA optimizate cu nuclee Tensor.
Sfaturi de configurare & capcane
Dacă observi că generarea este lentă, alege o cuantizare mai mică (ex: Q4 în loc de Q8) pentru a încăpea 100% din straturi în VRAM.
Comenzi și ghiduri înrudite
ollama-ps: Comandă asociată din acest modul.modelfile-parameter-num-ctx: Comandă asociată din acest modul.ollama-serve: Comandă asociată din acest modul.