TokenCountingHandler numără cu precizie absolută tokenii de intrare (prompt tokens), tokenii de ieșire (completion tokens) și tokenii de embeddings consumați în timpul fiecărei operațiuni RAG, permițând auditul financiar al cheltuielilor.
from llama_index.core.callbacks import CallbackManager, TokenCountingHandler
from llama_index.core import Settings
import tiktoken
token_counter = TokenCountingHandler(tokenizer=tiktoken.encoding_for_model("gpt-4o").encode)
Settings.callback_manager = CallbackManager([token_counter])
query_engine.query("Exemplu interogare")
print("Tokeni prompt:", token_counter.prompt_llm_token_count)
print("Tokeni raspuns:", token_counter.completion_llm_token_count)
print("Tokeni totali embeddings:", token_counter.total_embedding_token_count)Optimizare de buget: Permite calcularea costului exact în cenți pentru fiecare solicitare procesată.
Întrebări & Exemple practice:
TokenCountingHandler: Monitorizarea Consumului de Tokeni și Costurilor LLMAi o întrebare despre TokenCountingHandler: Monitorizarea Consumului de Tokeni și Costurilor LLM sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.