Ce face Importul unui model GGUF sau Safetensors în Ollama
Ca să imporți un model, creezi un Modelfile în care FROM indică fișierul GGUF, apoi rulezi ollama create. Pentru un GGUF împărțit în mai multe fișiere păstrezi numele originale și folosești un wildcard, de exemplu FROM /path/to/model-*.gguf. Ollama nu cuantizează GGUF-urile la import; le pregătești înainte, de exemplu cu llama-quantize din llama.cpp.
Pentru ponderi Safetensors, FROM indică directorul cu ponderile (sau FROM . dacă Modelfile-ul stă lângă ele). La Safetensors poți cere cuantizare cu ollama create -q.
În același Modelfile poți adăuga TEMPLATE, SYSTEM, PARAMETER și celelalte instrucțiuni. Modelul importat se poate publica pe ollama.com: îl copiezi sub utilizator/model cu ollama cp și îl trimiți cu ollama push.
Sintaxă și opțiuni
| Opțiune / Parametru | Descriere |
|---|---|
FROM /cale/fisier.gguf |
GGUF dintr-un singur fișier. |
FROM /cale/model-*.gguf |
GGUF împărțit, cu numele originale. |
FROM /cale/director |
Director cu ponderi Safetensors. |
ollama create NUME [-f Modelfile] |
Construiește modelul din Modelfile. |
Exemple practice
Exemplul 1: Modelfile pentru un GGUF
FROM ./model-Q4_K_M.gguf
PARAMETER num_ctx 16384
PARAMETER temperature 0.2
SYSTEM """Răspunzi în limba română, clar și concis."""Exemplul 2: Crearea și testarea modelului
Comenzile se rulează din directorul în care se află Modelfile-ul.
ollama create my-model
ollama run my-modelExemplul 3: Publicarea pe ollama.com
ollama cp my-model myuser/my-model
ollama push myuser/my-modelGreșeli frecvente și bune practici
- Aștepți ca Ollama să cuantizeze un GGUF necuantizat. Cuantizează-l înainte de import.
- Omiți
TEMPLATEcând modelul folosește un format de chat pe care Ollama nu îl deduce. Verifică rezultatul cuollama show --templateși adaugă șablonul dacă lipsește. - Folosești căi relative la directorul terminalului. Calea din
FROMeste absolută sau relativă la Modelfile.