Formatele I-Quants (cum sunt IQ1_S, IQ2_XXS, IQ3_M, IQ4_XS) folosesc cuantizare vectorială pe grile neuniforme calibrate printr-o matrice de importanță (imatrix). La aceeași dimensiune de fișier, un model IQ3_M atinge o perplexitate considerabil mai bună decât un model tradițional Q3_K_M.
# Cuantizare IQ3_M folosind datele de calibrare imatrix
./build/bin/llama-quantize --imatrix imatrix.dat model-f16.gguf model-IQ3_M.gguf IQ3_MEste tehnologia de vârf recomandată pentru bugete de sub 4 biți per pondere.
Întrebări & Exemple practice:
Familia de Cuantizări I-Quants (IQ2_XXS, IQ3_M, IQ4_XS)Ai o întrebare despre Familia de Cuantizări I-Quants (IQ2_XXS, IQ3_M, IQ4_XS) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.