DSPy monitorizează numărul total de tokeni de intrare (prompt tokens) și de ieșire (completion tokens) consumați de fiecare modul și de întreg procesul de optimizare. Dezvoltatorii pot interoga consumul acumulat pentru a calcula costul financiar exact al unei sesiuni de compilare.
Contabilitate Precisă a Consumului de Tokeni
Previne surprizele bugetare și permite raportarea exactă a eficienței operaționale.
import dspy
lm = dspy.settings.lm
# Rulare sarcină...
print("Total apeluri efectuate:", len(lm.history))
total_tokens = sum(call.get("usage", {}).get("total_tokens", 0) for call in lm.history)
print(f"Total tokeni consumați în sesiune: {total_tokens}")Utilizarea corectă a acestei funcționalități în DSPy asigură programarea algoritmică robustă a modelelor mari de limbaj, decuplând arhitectura codului de redactarea fragilă a prompturilor manuale.
Întrebări & Exemple practice:
Monitorizarea consumului de tokeni și costurilor per program compilatAi o întrebare despre Monitorizarea consumului de tokeni și costurilor per program compilat sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.