Context Caching (sau Prompt Caching) precalculează și păstrează în memoria GPU stările KV Cache corespunzătoare unor prefixe lungi de prompt frecvente (documentații de sute de pagini, baze de cod, instrucțiuni de sistem), reducând costurile cu până la 75% și timpul până la primul token (TTFT) la aproape zero.
# Exemplu conceptual Context Caching în API-urile moderne (ex: Gemini / Anthropic):
# Trimitem un document de 100.000 de tokeni:
# Cererea 1: Calculează KV Cache complet (latență 3 secunde, cost 100% tokeni).
# Cererile 2-100 (cu același prefix):
# - Reutilizează direct KV Cache din memoria GPU.
# - Timp de răspuns instantaneu (<100 ms).
# - Reducere automată a prețului pe milionul de tokeni de intrare.Eficiență în RAG și Agenți: Permite agenților să păstreze tot contextul proiectului fără a re-procesa întregul repository la fiecare întrebare.
Întrebări & Discuții: Prompt Caching și Context Caching în LLM: Reducerea Latenței și a Costurilor
Ai o întrebare despre Prompt Caching și Context Caching în LLM: Reducerea Latenței și a Costurilor sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.