Când descărcați un model nou de pe Hugging Face Hub (în format safetensors sau pytorch_model.bin), primul pas pentru rularea în llama.cpp este conversia în GGUF:
# Instalare dependențe Python necesare
pip install -r requirements/requirements-convert_hf_to_gguf.txt
# Conversie model în precizie completă f16
python3 convert_hf_to_gguf.py /cale/catre/model_huggingface --outtype f16 --outfile ./models/model_convertit_f16.gguf
Scriptul extrage automat vocabularul tokenizerului, fișierele de configurare JSON și construiește antetul GGUF.
Întrebări & Exemple practice:
Conversia Ponderilor Hugging Face cu convert_hf_to_gguf.pyAi o întrebare despre Conversia Ponderilor Hugging Face cu convert_hf_to_gguf.py sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.