Vector Drift: Monitorizarea Schimbării Distribuției Semantice în Baze de Date Vectoriale & Căutare Semantică

În timp, limbajul utilizatorilor, temele abordate sau vocabularul de business se schimbă. Dacă baza de date a fost populată inițial cu documente dintr-un domeniu, iar noile interogări explorează concepte neacoperite, apare fenomenul de Vector Data Drift.

Tehnici de detecție a vector drift-ului:

• Maximum Mean Discrepancy (MMD): Compară distribuția probabilistică a noilor vectori de interogare cu distribuția de referință a documentelor indexate.
• Monitorizarea Scorurilor de Similitudine Medie: Dacă scorul mediu al top-1 rezultat scade treptat de la 0.85 la 0.65 pe o perioadă de câteva săptămâni, este un indicator clar de drift.

import numpy as np

# Calcul simplificat al centroizilor pentru detecția deviației semantice
centroid_referinta = np.mean(baseline_vectors, axis=0)
centroid_saptamana_curenta = np.mean(production_query_vectors, axis=0)

distanta_drift = np.linalg.norm(centroid_referinta - centroid_saptamana_curenta)
print(f"Deviație semantică centroid: {distanta_drift:.4f}")
if distanta_drift > 0.35:
    print("ALERTA: Vector Drift semnificativ detectat! Se recomandă actualizarea bazei de cunoștințe.")

Monitorizarea constantă a acestor metrici previne degradarea calității răspunsurilor oferite de agenții AI.