Ollama CLI & Ghid Local: comenzi, scurtături și ghid practic

Ollama este un instrument open-source pentru descărcarea, configurarea și rularea modelelor mari de limbaj (LLM) direct pe propriul tău calculator sau server (macOS, Linux, Windows), local, fără ca prompturile trimise modelelor locale să ajungă la ollama.com (modelele din cloud sunt o opțiune separată, după ollama signin).

Cu o singură comandă, Ollama se ocupă de descărcarea greutăților cuantizate în format GGUF, distribuirea automată a straturilor rețelei pe memoria plăcii video (GPU VRAM) și expunerea unui server local rapid cu API compatibil OpenAI.

Cum este organizat acest ghid

Am structurat cele 35 de comenzi, instrucțiuni Modelfile, endpoint-uri API și setări de sistem în 4 domenii:

• Comenzi CLI de Bază: ollama run (plus comenzile din sesiune /set, /show, /save), pull, push, list, ps, stop, rm, show, cp, signin / signout și launch.
• Personalizare prin Modelfile: FROM (modele de bază & GGUF), SYSTEM, TEMPLATE, MESSAGE, LICENSE, REQUIRES, CAPABILITY, PARAMETER (referință completă, plus temperature și num_ctx), ollama create și importul GGUF / Safetensors.
• Server, Rețea și Hardware: ollama serve, variabilele de mediu (referință completă, plus OLLAMA_HOST și OLLAMA_MODELS) și alocarea pe GPU.
• API REST: /api/generate, /api/chat, /api/embed, tool calling, compatibilitatea OpenAI (/v1) și Anthropic (/v1/messages) și lista completă a endpoint-urilor.

Apasă pe oricare comandă de mai jos pentru sintaxă, parametri și exemple practice de utilizare.

# Instalare pe macOS (folosește automat accelerarea GPU Apple Silicon Metal):
brew install --cask ollama

# Sau descarcă arhiva de pe ollama.com/download/Ollama-darwin.zip
# Pornire și descărcare model în terminal:
ollama run llama3.2

# Instalare nativă pe Windows 10/11 (cu suport automat NVIDIA CUDA & AMD Radeon):
winget install Ollama.Ollama

# După instalare, Ollama rulează ca serviciu în System Tray (port 11434).
# Deschide PowerShell și pornește primul model:
ollama run deepseek-r1:8b

# Instalare pe Linux (configurează automat serviciul systemd și detectează GPU-ul NVIDIA/AMD):
curl -fsSL https://ollama.com/install.sh | sh

# Verificare serviciu și descărcare model:
sudo systemctl status ollama
ollama run qwen2.5-coder:7b

# Ollama nu necesită cont sau cheie API! API-ul local răspunde implicit pe:
curl http://localhost:11434/api/tags

# Pentru a permite conectarea din Docker (Open WebUI / n8n):
# Setează variabila de mediu OLLAMA_HOST=0.0.0.0:11434