În timpul dezvoltării și depanării agenților, reluarea repetată a acelorași instrucțiuni poate consuma rapid bugete mari de API. Clasa Cache rezolvă această problemă:
from autogen.cache import Cache
with Cache.disk(cache_dir="./cache_local") as cache:
user_proxy.initiate_chat(
assistant,
message="Calculează factorial de 10 în Python.",
cache=cache
)
Dacă promptul și istoricul sunt identice, AutoGen returnează răspunsul din cache în 0 milisecunde.
Întrebări & Exemple practice:
Sistemul de Caching pentru Reducerea Costurilor de APIAi o întrebare despre Sistemul de Caching pentru Reducerea Costurilor de API sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.