După ce Unsloth generează fișierul binar GGUF (de exemplu model-unsloth.Q4_K_M.gguf), acesta poate fi integrat instantaneu în Ollama prin crearea unui fișier numit Modelfile:
# Modelfile pentru modelul finisat în Unsloth
FROM ./model_exportat_gguf/unsloth.Q4_K_M.gguf
TEMPLATE '''<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|><|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>'''
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER temperature 0.7În terminalul sistemului, creați și rulați modelul prin comenzile Ollama:
# Construire model în Ollama
ollama create asistent-romana -f Modelfile
# Rulare directă în terminal
ollama run asistent-romanaModelul tău personalizat este acum disponibil ca asistent local complet funcțional.
Întrebări & Exemple practice:
Generarea Fișierului Modelfile și Importul Direct în OllamaAi o întrebare despre Generarea Fișierului Modelfile și Importul Direct în Ollama sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.