Filtrarea Calitativă a Datelor Sintetice și Eliminarea Halucinațiilor în LLMOps, Evaluare & Securitate AI

Dacă antrenăm un model pe date generate artificial fără filtrare calitativă, imperfecțiunile și halucinațiile se amplifică exponențial la fiecare iterație (fenomen cunoscut sub numele de Model Collapse). Un pipeline robust de date sintetice include pași riguroși de eliminare:

• Filtrare pe Baza Recompensei: Un model de recompensă notează fiecare răspuns sintetic; doar cele situate în top 20% sunt păstrate.
• Verificare prin Execuție (Execution Feedback): În cazul generării de cod, mostrele sintetice sunt rulate într-un mediu sandbox; dacă testele unitare eșuează, mostra este ștearsă imediat.
• Filtrare pe Baza Diversității Embeddings: Eliminarea mostrelor care au o similitudine cosinus > 0.95 cu mostre deja selectate.

# Filtrare pe baza scorului de calitate
def filtreaza_mostre(dataset_brut, validator_llm, prag=4.0):
    mostre_valide = []
    for item in dataset_brut:
        nota = validator_llm.rate_quality(item["intrebare"], item["raspuns"])
        if nota >= prag:
            mostre_valide.append(item)
    return mostre_valide

print("Set de date curățat și pregătit pentru fine-tuning.")

Antrenarea pe un set mic de date sintetice ultra-curate (10.000 de mostre aurite) depășește performanța antrenării pe 500.000 de mostre zgomotoase.