După finalizarea antrenării în PyTorch sau Hugging Face, modelul este salvat de regulă ca fișiere safetensors divizate în bucăți de 5GB. Pentru a permite rularea locală ultra-rapidă pe CPU și acceleratoare Apple Silicon prin intermediul llama.cpp sau Ollama, modelul trebuie convertit în formatul binar unificat GGUF.
# Pasul 1: Conversie din format Hugging Face în GGUF FP16
python3 llama.cpp/convert_hf_to_gguf.py ./model_fintuned_hf --outfile ./model_fp16.gguf --outtype f16
# Pasul 2: Cuantizare în formatul Q4_K_M (excelent raport calitate/dimensiune)
./llama.cpp/llama-quantize ./model_fp16.gguf ./model_q4_k_m.gguf Q4_K_MFormatul GGUF încapsulează metadatele, vocabularul și toate greutățile într-un singur fișier compact gata de utilizare.
Întrebări & Exemple practice:
Conversia Checkpoint-urilor în Formate GGUF și SafetensorsAi o întrebare despre Conversia Checkpoint-urilor în Formate GGUF și Safetensors sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.