În aplicațiile LLM enterprise, problemele de performanță nu sunt uniforme: ele afectează adesea un anumit client (user_id), o anumită versiune a bazei vectoriale sau un set specific de etichete (metadata high-cardinality). Instrumente precum Honeycomb excelează la analiza distribuțiilor multidimensionale fără indexare prealabilă.
from opentelemetry import trace
tracer = trace.get_tracer("llm-service")
with tracer.start_as_current_span("agent_execution_step") as span:
span.set_attribute("customer.tier", "enterprise")
span.set_attribute("vector_db.collection", "kb_v4")
span.set_attribute("llm.model_name", "claude-3-5-sonnet")
span.set_attribute("llm.token_count.total", 1420)
# Execuție pas agent
print("Span distribuit înregistrat.")Prin analiza corelațiilor (BubbleUp în Honeycomb), inginerii pot identifica instantaneu dacă o creștere de latență este cauzată de un furnizor extern sau de un fragment corupt dintr-un document specific.
Întrebări & Exemple practice:
Honeycomb & Jaeger: Analiza Evenimentelor High-Cardinality în Pipeline-uri LLMAi o întrebare despre Honeycomb & Jaeger: Analiza Evenimentelor High-Cardinality în Pipeline-uri LLM sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.