Formatul Q4_K_M folosește tehnica K-quants dezvoltată de Iwan Kawrakow: în loc să cuantizeze toate straturile uniform la 4 biți, alocă 6 biți pentru matricile esențiale de proiecție a atenției (v_proj) și o parte din feed_forward.w2, menținând restul pe 4 biți.
./build/bin/llama-quantize input-f16.gguf output-Q4_K_M.gguf Q4_K_MOferă cel mai bun raport din lume între dimensiune (4.9 GB pentru 8B) și fidelitatea raționamentului logic.
Întrebări & Exemple practice:
Cuantizarea Recomandată Q4_K_M (K-quants Medium)Ai o întrebare despre Cuantizarea Recomandată Q4_K_M (K-quants Medium) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.