Strategii avansate de filtrare a exemplelor demonstrate (deduplicare, lungime) în DSPy & Programare Algoritmică LLM

Calitatea demonstrațiilor few-shot este adesea mai importantă decât cantitatea lor. DSPy include filtre pentru eliminarea exemplelor aproape duplicate, penalizarea răspunsurilor verbose ce ar consuma inutil contextul și garantarea diversității semantice a cazurilor selectate.

Curatare Semantică și Deduplicare Exemple

Previne supra-aglomerarea ferestrei de context cu exemple repetitive sau irelevante.

# Exemplu filtrare demonstrații candidate în DSPy:
def filter_demos(demos, max_tokens=150):
    unique_demos = []
    seen_answers = set()
    for d in demos:
        if d.answer not in seen_answers and len(d.answer.split()) < max_tokens:
            unique_demos.append(d)
            seen_answers.add(d.answer)
    return unique_demos[:4]

Utilizarea corectă a acestei funcționalități în DSPy asigură programarea algoritmică robustă a modelelor mari de limbaj, decuplând arhitectura codului de redactarea fragilă a prompturilor manuale.