Penalizarea costului de tokeni și a latenței în funcția de fitness a optimizatorului în DSPy & Programare Algoritmică LLM

Fără constrângeri de cost, optimizatorii precum MIPRO pot propune prompturi uriașe ce cresc latența și factura la API. Integrarea unei penalizări de lungime (token cost penalty) în metrica de evaluare forțează compilatorul să aleagă instrucțiuni scurte și eficiente.

Optimizare Conștientă de Cost și Latență (Pareto Efficiency)

Găsește soluții de înaltă performanță cu consum minim de tokeni pe cerere.

def cost_aware_metric(example, pred, trace=None) -> float:
    base_score = 1.0 if example.answer.lower() in pred.answer.lower() else 0.0
    if base_score == 0.0:
        return 0.0

    # Penalizare ușoară pentru prompturi excesiv de lungi:
    token_count = len(pred.answer.split())
    penalty = max(0.0, (token_count - 100) * 0.005)
    return max(0.1, base_score - penalty)

Utilizarea corectă a acestei funcționalități în DSPy asigură programarea algoritmică robustă a modelelor mari de limbaj, decuplând arhitectura codului de redactarea fragilă a prompturilor manuale.