Pentru a permite oricărui utilizator să ruleze modelul tău în aplicații desktop precum LM Studio, Jan sau Ollama, Unsloth poate încărca direct fișierul GGUF cuantizat:
model.push_to_hub_gguf(
"numele_tau_hf/llama-3-romanian-assistant-GGUF",
tokenizer,
quantization_method="q4_k_m",
token="hf_TokenulTauDeScriereHuggingFace",
)
print("Fișierul GGUF a fost urcat pe Hugging Face Hub!")
Depozitul creat include automat cardul de model (Model Card) cu specificațiile de antrenare și arhitectură.
Întrebări & Exemple practice:
Publicarea Automată a Fișierelor GGUF pe Hugging Face HubAi o întrebare despre Publicarea Automată a Fișierelor GGUF pe Hugging Face Hub sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.