Funcționalitatea de Prompt Caching permite furnizorilor de modele să rețină starea procesată a secvențelor lungi de intrare (cum ar fi manuale întregi de instrucțiuni, baze de cod sau documente legale încărcate ca context de sistem). Pentru cererile ulterioare care partajează același prefix, procesarea nu mai este recalculată.
from anthropic import Anthropic
client = Anthropic()
# Utilizarea cache_control în Anthropic Claude
response = client.messages.create(
model="claude-3-5-sonnet-20241022",
max_tokens=1000,
system=[
{
"type": "text",
"text": document_legal_de_50000_tokeni,
"cache_control": {"type": "ephemeral"} # Marchează fragmentul pentru caching
}
],
messages=[{"role": "user", "content": "Care este clauza de penalități?"}]
)
print("Tokeni citiți din cache:", response.usage.cache_read_input_tokens)
print("Tokeni creați în cache:", response.usage.cache_creation_input_tokens)Tokenii citiți din cache beneficiază de un discount financiar de 90% și reduc latența până la primul token (TTFT) cu peste 80%.
Întrebări & Exemple practice:
Optimizarea Costurilor prin Prompt Caching (Prefix Caching)Ai o întrebare despre Optimizarea Costurilor prin Prompt Caching (Prefix Caching) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.