Protecția Împotriva Atacurilor de Intoxicare a Bazei de Cunoștințe (Data Poisoning) în LLMOps, Evaluare & Securitate AI

În sistemele RAG deschise unde utilizatorii sau partenerii pot încărca documente (contracte, manuale, tichete), un atacator poate injecta documente malițioase concepute special (Knowledge Poisoning). Aceste documente conțin instrucțiuni ascunse concepute să domine primele poziții în căutarea semantică și să determine modelul să execute acțiuni neautorizate.

Măsuri de protecție la nivel de arhitectură:

• Semnături Digitale și Proveniență: Verificarea originii criptografice a fișierelor înainte de indexare în baza vectorială.
• Sanitizarea Fișierelor Text: Eliminarea caracterelor invizibile (zero-width spaces), a textului alb pe fundal alb din fișiere PDF și a metadatelor injectate.
• Separarea Rolurilor de Acces: Izolarea vectorilor încărcați de utilizatori externi de baza de cunoștințe de încredere a companiei.

import unicodedata

def curata_text_ingestie(text_brut: str) -> str:
    # Elimină caractere invizibile și normalizează forma Unicode
    text_normalizat = unicodedata.normalize("NFKC", text_brut)
    # Elimină caractere de control suspecte
    text_curat = "".join(ch for ch in text_normalizat if unicodedata.category(ch)[0] != "C" or ch in "
	")
    return text_curat

Auditarea periodică a vectorilor din colecție prin detecția anomaliilor de distanță ajută la izolarea clusterelor malițioase.