Deduplicarea Seturilor Masive de Date de Antrenare cu MinHash LSH în LLMOps, Evaluare & Securitate AI

Datele descărcate de pe internet sau extrase din baze de cunoștințe interne conțin cantități masive de documente redundante (șabloane legale, semnături de email, erori comune). Antrenarea unui model pe date duplicate duce la memorare rigidă (overfitting) și degradarea fluenței textuale.

Pipeline-ul MinHash LSH (Locality Sensitive Hashing) permite detectarea documentelor aproape identice (near-duplicates) într-un timp de complexitate sub-pătratică:

from datasketch import MinHash, MinHashLSH

lsh = MinHashLSH(threshold=0.85, num_perm=128)

def adauga_document(doc_id, text):
    m = MinHash(num_perm=128)
    for cuvant in set(text.split()):
        m.update(cuvant.encode("utf8"))
    
    # Verifică dacă există deja documente similare în index
    duplicate = lsh.query(m)
    if duplicate:
        print(f"Document {doc_id} este duplicat al {duplicate[0]}. Se ignoră.")
        return False
        
    lsh.insert(doc_id, m)
    return True

Curățarea setului prin această metodă reduce dimensiunea datelor cu 20-30% și îmbunătățește calitatea finală a răspunsurilor generate.