DSPy dispune de un sistem inteligent de caching activat implicit. Fiecare apel identic către modelul de limbaj (același prompt și parametri) este salvat într-o bază SQLite locală (`~/.dspy_cache`), garantând că re-execuția unui script sau a unei evaluări nu va consuma din nou tokeni și se va finaliza instantaneu.
Economisire Masivă de Timp și Buget prin Caching
Asigură reproductibilitatea deplină a experimentelor științifice și a testelor unitare.
import dspy
# Caching-ul este activ implicit. Pentru golire sau configurare:
# dspy.settings.configure(cache=True)
# Apelul 1 durează 1200ms și consumă tokeni reali:
res1 = my_program(question="Cum funcționează caching-ul?")
# Apelul 2 identic durează 1ms (preluat din cache SQLite local):
res2 = my_program(question="Cum funcționează caching-ul?")Utilizarea corectă a acestei funcționalități în DSPy asigură programarea algoritmică robustă a modelelor mari de limbaj, decuplând arhitectura codului de redactarea fragilă a prompturilor manuale.
Întrebări & Exemple practice:
Caching automat pe disc cu SQLite / joblib pentru apelurile LLMAi o întrebare despre Caching automat pe disc cu SQLite / joblib pentru apelurile LLM sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.