Cuantizarea la INT8 necesită un proces de calibrare pe câteva sute de imagini din setul de antrenare:
# Export cu calibrare INT8:
model.export(
format="engine",
int8=True,
data="dataset.yaml", # Folosit pentru calcularea dinamicii valorilor tensorilor
batch=8
)
Reduce consumul de memorie la un sfert și accelerează calculul pe nucleele Tensor Core.
Întrebări & Exemple practice:
Cuantizarea Modelelor de Viziune în Formatele FP16 și INT8Ai o întrebare despre Cuantizarea Modelelor de Viziune în Formatele FP16 și INT8 sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.