Într-un sistem tradițional de LLM, de fiecare dată când trimiți o cerere nouă, serverul trebuie să calculeze de la zero matricea de atenție (Key-Value pairs) pentru întregul text trimis, incluzând instrucțiunile de sistem, fișierele de context din proiect și istoricul conversației. La proiecte mari cu 50.000–100.000 de tokeni de context, acest proces generează latențe mari și costuri financiare uriașe.
Context Caching (caching de prompt) rezolvă această ineficiență: serverul de inferență recunoaște că începutul promptului (prefixul format din fișierele de documentație, memoria `CLAUDE.md` sau baza de date) este identic cu cel dintr-un apel precedent și încarcă instant starea gata calculată direct din memoria cache GPU.
Rezultatul este spectaculos: latența până la primul token (TTFT – Time to First Token) scade cu până la 80-90%, iar costurile API pentru tokenii aflați în cache sunt reduse tipic cu 75% până la 90% comparativ cu tokenii de intrare standard.
Concepte cheie și caracteristici
| Concept / Parametru | Descriere practică |
|---|---|
Cache Write |
Operațiunea inițială prin care blocul de text este procesat și salvat în memoria serverului pentru o durată determinată. |
Cache Read |
Apelurile ulterioare care citesc starea salvată la o fracțiune din preț și timp. |
TTL (Time to Live) |
Perioada de valabilitate a cache-ului (tipic 5 minute până la câteva ore în funcție de furnizor). |
Prag Minim de Tokeni |
Numărul minim de tokeni consecutivi identici necesari pentru activarea cache-ului (de regulă 1.024 sau 2.048 tokeni). |
Exemple practice și scenarii reale
Exemplul 1: Activarea Prompt Caching în API-ul Anthropic cu blocul cache_control
Marcarea unui document mare pentru a nu fi recalculat la fiecare întrebare.
messages = [
{
"role": "user",
"content": [
{
"type": "text",
"text": "Iată manualul complet de arhitectură al aplicației noastre... [50.000 tokeni]",
"cache_control": {"type": "ephemeral"}
},
{
"type": "text",
"text": "Explică cum funcționează modulul de autentificare JWT."
}
]
}
]Rezultat & Impact
La a doua întrebare pe același manual, tokenii de intrare costă cu 90% mai puțin și răspunsul începe instant.Greșeli frecvente și capcane
- Modificarea dinamică a începutului promptului (de exemplu inserarea timestamp-ului curent pe prima linie), ceea ce invalidează complet cache-ul pentru tot textul ce urmează.
- Aplicarea caching-ului pe documente scurte (sub 1.000 tokeni) unde overhead-ul de verificare depășește economia de calcul.