Ollama CLI & Ghid Local: comenzi, scurtături și ghid practic

Ollama este cel mai popular instrument din lume pentru descărcarea, configurarea și rularea modelelor mari de limbaj (LLM) direct pe propriul tău calculator sau server (macOS, Linux, Windows), 100% offline, gratuit și fără să transmiți date către terți.

Cu o singură comandă, Ollama se ocupă de descărcarea greutăților cuantizate în format GGUF, distribuirea automată a straturilor rețelei pe memoria plăcii video (GPU VRAM) și expunerea unui server local rapid cu API compatibil OpenAI.

Cum este organizat acest ghid

Am structurat cele 16 comenzi, directive de Modelfile și setări de sistem în 3 domenii esențiale:

• Comenzi CLI de Bază: ollama run, pull, list, ps (monitorizare VRAM), rm (ștergere), show și cp (clonare).
• Personalizare prin Modelfile: FROM (modele de bază & GGUF), SYSTEM (prompt de sistem), PARAMETER temperature, num_ctx (fereastră context) și ollama create.
• Server, Rețea și Hardware: ollama serve (daemon), interfața REST API (/api/generate), variabile de mediu (OLLAMA_HOST, OLLAMA_MODELS) și alocare GPU (VRAM Offloading).

Apasă pe oricare comandă de mai jos pentru sintaxă, parametri și exemple practice de utilizare.

# Instalare pe macOS (folosește automat accelerarea GPU Apple Silicon Metal):
brew install --cask ollama

# Sau descarcă arhiva de pe ollama.com/download/Ollama-darwin.zip
# Pornire și descărcare model în terminal:
ollama run llama3.2

# Instalare nativă pe Windows 10/11 (cu suport automat NVIDIA CUDA & AMD Radeon):
winget install Ollama.Ollama

# După instalare, Ollama rulează ca serviciu în System Tray (port 11434).
# Deschide PowerShell și pornește primul model:
ollama run deepseek-r1:8b

# Instalare pe Linux (configurează automat serviciul systemd și detectează GPU-ul NVIDIA/AMD):
curl -fsSL https://ollama.com/install.sh | sh

# Verificare serviciu și descărcare model:
sudo systemctl status ollama
ollama run qwen2.5-coder:7b

# Ollama nu necesită cont sau cheie API! API-ul local răspunde implicit pe:
curl http://localhost:11434/api/tags

# Pentru a permite conectarea din Docker (Open WebUI / n8n):
# Setează variabila de mediu OLLAMA_HOST=0.0.0.0:11434