Sistemul de Caching din LangChain stochează răspunsurile generate pentru fiecare prompt identic. La solicitări repetate, răspunsul este returnat instantaneu din memorie sau disc fără a mai efectua un nou apel plătit către furnizorul de API.
from langchain_core.globals import set_llm_cache
from langchain_community.cache import SQLiteCache
# Activare cache persistent pe disc:
set_llm_cache(SQLiteCache(database_path=".langchain_cache.db"))
# Primul apel: trimis la API (~1.5 secunde, consuma tokeni)
model.invoke("Care este capitala Romaniei?")
# Al doilea apel identic: returnat instant din SQLite (0 ms, cost 0 $)
model.invoke("Care este capitala Romaniei?")Economie masivă în dezvoltare: Reduce costurile cu până la 90% în timpul sesiunilor de testare repetată a aplicației.
Întrebări & Exemple practice:
InMemoryCache și SQLiteCache: Stocarea în Cache a Răspunsurilor LLMAi o întrebare despre InMemoryCache și SQLiteCache: Stocarea în Cache a Răspunsurilor LLM sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.