La fiecare cerere, modelul procesează tot promptul: instrucțiunile de sistem, definițiile uneltelor, documentele și istoricul conversației. Când începutul promptului (prefixul) este identic cu cel dintr-o cerere recentă, furnizorul poate refolosi procesarea deja făcută pentru acel prefix în loc s-o refacă. Câștigul: tokenii de intrare din cache se taxează mult mai ieftin, iar timpul până la primul token scade, mai ales la prompturi lungi.
Numele diferă: Anthropic și OpenAI spun prompt caching, Google spune context caching. Regula de bază este aceeași peste tot: cache-ul funcționează doar pentru prefixul identic. La Anthropic, ordinea este unelte → sistem → mesaje, iar o schimbare la un nivel invalidează acel nivel și tot ce urmează după el.
Regulile concrete (preț, durată, prag minim, activare) diferă de la un furnizor la altul și se schimbă odată cu modelele, așa că verifică documentația modelului pe care îl folosești. Despre găzduirea proprie, unde același principiu se numește prefix caching, vezi secțiunea vLLM.
Concepte cheie și caracteristici
| Concept / Parametru | Descriere practică |
|---|---|
Activare |
Anthropic: câmpul cache_control, fie o dată la nivelul cererii (caching automat), fie pe blocuri anume (puncte de cache explicite). OpenAI: caching activ implicit la modelele suportate. Gemini: caching implicit activ pe modelele 2.5 și mai noi; caching explicit doar pe unele modele. |
Scriere în cache |
Prima cerere care salvează prefixul. La Anthropic costă 1,25 × prețul de intrare (durată de 5 minute) sau 2 × (o oră). La OpenAI, pe modelele GPT-5.6 și mai noi, 1,25 × la durata implicită de 30 de minute. |
Citire din cache |
Anthropic: 10% din prețul de intrare (mai puțin la unele modele noi, de exemplu 5% la Claude Opus 5.5 și Sonnet 5.5). OpenAI: reducere de până la 95%, în funcție de model. |
Durata (TTL) |
Anthropic: 5 minute implicit, prelungite gratuit la fiecare folosire, sau o oră contra cost. OpenAI (GPT-5.6 și mai noi): minimum 30 de minute implicit, cu opțiunea 12h. |
Prag minim |
Prefixele mai scurte nu se salvează. Anthropic: între 512 și 4.096 de tokeni, în funcție de model, iar sub prag cererea merge fără cache și fără eroare. Gemini (caching implicit): 2.048 sau 4.096 de tokeni, în funcție de model. |
Exemple practice și scenarii reale
Exemplul 1: Punct de cache explicit pe un document lung (Claude API)
Documentul pus în promptul de sistem primește cache_control. La întrebările următoare cu același prefix, câmpul cache_read_input_tokens din usage arată câți tokeni au venit din cache; dacă atât el, cât și cache_creation_input_tokens sunt 0, nu s-a folosit cache-ul.
{
"model": "claude-opus-5-5",
"max_tokens": 1024,
"system": [
{
"type": "text",
"text": "Iată manualul de arhitectură al aplicației: ... [document lung]",
"cache_control": {"type": "ephemeral"}
}
],
"messages": [
{"role": "user", "content": "Explică cum funcționează modulul de autentificare JWT."}
]
}Exemplul 2: Caching automat, cu durata de o oră (Claude API)
Un singur cache_control la nivelul cererii: sistemul pune punctul de cache pe ultimul bloc și îl mută singur pe măsură ce conversația crește. Durata de o oră costă 2 × prețul de intrare la scriere.
{
"model": "claude-opus-5-5",
"max_tokens": 1024,
"cache_control": {"type": "ephemeral", "ttl": "1h"},
"system": "Ești asistentul echipei de suport.",
"messages": [
{"role": "user", "content": "..."}
]
}Greșeli frecvente și capcane
- Conținut care se schimbă la începutul promptului (data și ora curentă pe primul rând, un ID de sesiune): prefixul nu mai este identic și cache-ul nu se mai folosește pentru nimic din ce urmează.
- Ordinea greșită: pune conținutul stabil și mare (instrucțiuni, documente, unelte) la început și partea variabilă (întrebarea) la final.
- Prompturi sub pragul minim: sunt procesate fără cache, iar la Anthropic nu primești nicio eroare; verifică câmpurile de cache din
usage. - Confuzia cu memorarea răspunsurilor: cache-ul refolosește procesarea promptului, nu răspunsul; modelul generează de fiecare dată un răspuns nou.