În problemele de căutare a celui mai mare produs scalar (MIPS – Maximum Inner Product Search), eroarea convențională de cuantizare L2 nu corelează fidel cu calitatea clasamentului final. Google ScaNN introduce o funcție de pierdere orientată pe scor (Score-Aware Loss).
Ideea centrală: o eroare de cuantizare paralelă cu vectorul de interogare modifică direct valoarea produsului scalar, riscând să schimbe ordinea top-k a rezultatelor. În schimb, o eroare ortogonală pe vectorul de interogare are un impact minim asupra clasamentului:
# Formula de optimizare a erorii în ScaNN:
# Loss = ||(x - x_quantized)_parallel||^2 + lambda * ||(x - x_quantized)_orthogonal||^2
# unde lambda < 1 (toleranță sporită la erorile perpendiculare)
lambda_ortho = 0.2
print(f"Pondere eroare ortogonală redusă la {lambda_ortho}")Prin alocarea flexibilității cuantizatorului preponderent pe axa ortogonală, ScaNN păstrează similitudinea de produs scalar aproape intactă chiar și la rate ridicate de compresie.
Întrebări & Exemple practice:
Cuantizare Asimetrică și Score-Aware Loss în ScaNNAi o întrebare despre Cuantizare Asimetrică și Score-Aware Loss în ScaNN sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.