Dacă doriți să efectuați cuantizări experimentale ulterioare cu matrici de importanță (imatrix) în llama.cpp, este necesar să exportați mai întâi modelul de bază fuzionat în precizie completă f16.
model.save_pretrained_gguf(
"model_master_f16",
tokenizer,
quantization_method="f16",
)Fișierul GGUF rezultat are dimensiunea completă de ~15 GB pentru un model de 8 miliarde de parametri.
Întrebări & Exemple practice:
Exportul GGUF Necuantizat în Precizie float16 (f16)Ai o întrebare despre Exportul GGUF Necuantizat în Precizie float16 (f16) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.