GPTCache nu folosește chei exacte de căutare hash, ci compară vectorul semantic al noii întrebări cu întrebările rezolvate anterior. Dacă scorul de similaritate depășește 0.95, returnează răspunsul din cache în 5 milisecunde.
Exemplu de conectare
from gptcache import cache
from gptcache.adapter import openai
from gptcache.similarity_evaluation.distance import SearchDistanceEvaluation
cache.init(
similarity_evaluation=SearchDistanceEvaluation(),
data_manager=data_manager
)
# Apelul folosește cache-ul automat
raspuns = openai.ChatCompletion.create(model="gpt-4o", messages=[{"role": "user", "content": "Ce este un LLM?"}])Reduce costurile pe tokeni cu până la 70% în sistemele de suport tehnic cu întrebări repetitive.
Întrebări & Exemple practice:
Clasa Cache în GPTCache: Reducerea Costurilor API prin Cache Semantic de ÎntrebăriAi o întrebare despre Clasa Cache în GPTCache: Reducerea Costurilor API prin Cache Semantic de Întrebări sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.