Deduplicarea Datelor pe Baza Distanței Semantice în Baze de Date Vectoriale & Căutare Semantică

Într-un sistem RAG de întreprindere, utilizatorii încarcă frecvent versiuni duplicate ale aceluiași document (ex: ciorne, rapoarte anuale cu diferențe minore, email-uri forwardate). Ingestia duplicatelor ocupă spațiu valoros în indexul HNSW și poluează rezultatele top-K cu fragmente redundante.

Deduplicarea semantică se execută înainte de inserarea permanentă:

def insert_if_unique(client, vector, payload, threshold=0.98):
    # Caută cel mai apropiat vecin existent
    existing = client.search(
        collection_name="baza_cunostinte",
        query_vector=vector,
        limit=1
    )
    
    if existing and existing[0].score >= threshold:
        print(f"Document duplicat detectat (similitudine {existing[0].score:.4f}). Se ignoră.")
        return False
        
    client.upsert(collection_name="baza_cunostinte", points=[...])
    return True

Prin stabilirea unui prag de similitudine (ex: 0.98 cosinus), se elimină peste 95% din redundanțele dăunătoare fără a risca pierderea informațiilor noi.