Formatul GGUF (GPT-Generated Unified Format) este standardul universal pentru stocarea și distribuirea modelelor lingvistice mari compacte. Creat de Georgi Gerganov și echipa llama.cpp, GGUF a rezolvat limitările majore ale vechiului GGML:
- Metadate cheie-valoare extensibile: Tokenizerul, arhitectura, șabloanele de chat și hiperparametrii sunt salvați direct în fișier.
- Aliniere de memorie pentru mmap: Tensorii sunt aliniați la 32 de octeți, permițând maparea directă în memoria virtuală fără copiere.
- Compatibilitate cu orice arhitectură: Suportă Llama, Mistral, Qwen, DeepSeek, Gemma, Command-R și modele multimodale.
# Inspectare structură fișier GGUF cu utilitarul Python inclus
python3 ./gguf-py/scripts/gguf-dump.py model.ggufUn singur fișier .gguf conține tot ce este necesar pentru rularea autonomă a modelului.
Întrebări & Exemple practice:
Arhitectura și Specificațiile Formatului Binar GGUFAi o întrebare despre Arhitectura și Specificațiile Formatului Binar GGUF sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.