Dacă spațiul pe disc este limitat și doriți să distribuiți un checkpoint gata cuantizat pe 4 biți, Unsloth permite salvarea fuzionată direct în format 4-bit.
model.save_pretrained_merged(
"model_final_4bit",
tokenizer,
save_method="merged_4bit",
)Folderul rezultat ocupă aproximativ 5.5 GB și poate fi încărcat direct cu BitsAndBytes pe alte sisteme.
Întrebări & Exemple practice:
Salvarea Modelului Fuzionat pe 4 Biți (save_method=”merged_4bit”)Ai o întrebare despre Salvarea Modelului Fuzionat pe 4 Biți (save_method=”merged_4bit”) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.