Importul unui model GGUF sau Safetensors în Ollama în Ollama CLI & Ghid Local

FROM /cale/fisier.gguf  (în Modelfile)  +  ollama create NUME

Ce face Importul unui model GGUF sau Safetensors în Ollama

Ca să imporți un model, creezi un Modelfile în care FROM indică fișierul GGUF, apoi rulezi ollama create. Pentru un GGUF împărțit în mai multe fișiere păstrezi numele originale și folosești un wildcard, de exemplu FROM /path/to/model-*.gguf. Ollama nu cuantizează GGUF-urile la import; le pregătești înainte, de exemplu cu llama-quantize din llama.cpp.

Pentru ponderi Safetensors, FROM indică directorul cu ponderile (sau FROM . dacă Modelfile-ul stă lângă ele). La Safetensors poți cere cuantizare cu ollama create -q.

În același Modelfile poți adăuga TEMPLATE, SYSTEM, PARAMETER și celelalte instrucțiuni. Modelul importat se poate publica pe ollama.com: îl copiezi sub utilizator/model cu ollama cp și îl trimiți cu ollama push.

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
FROM /cale/fisier.gguf	GGUF dintr-un singur fișier.
FROM /cale/model-*.gguf	GGUF împărțit, cu numele originale.
FROM /cale/director	Director cu ponderi Safetensors.
ollama create NUME [-f Modelfile]	Construiește modelul din Modelfile.

Exemple practice

Exemplul 1: Modelfile pentru un GGUF

FROM ./model-Q4_K_M.gguf
PARAMETER num_ctx 16384
PARAMETER temperature 0.2
SYSTEM """Răspunzi în limba română, clar și concis."""

Exemplul 2: Crearea și testarea modelului

Comenzile se rulează din directorul în care se află Modelfile-ul.

ollama create my-model
ollama run my-model

Exemplul 3: Publicarea pe ollama.com

ollama cp my-model myuser/my-model
ollama push myuser/my-model

Greșeli frecvente și bune practici

• Aștepți ca Ollama să cuantizeze un GGUF necuantizat. Cuantizează-l înainte de import.
• Omiți TEMPLATE când modelul folosește un format de chat pe care Ollama nu îl deduce. Verifică rezultatul cu ollama show --template și adaugă șablonul dacă lipsește.
• Folosești căi relative la directorul terminalului. Calea din FROM este absolută sau relativă la Modelfile.

Comenzi înrudite

• modelfile-from
• ollama-create
• modelfile-template
• ollama-push