OpenInference: Convenții Semantice de Instrumentare pentru RAG și Agenți în LLMOps, Evaluare & Securitate AI

OpenInference extinde standardul OpenTelemetry adăugând atribute semantice uniforme pentru inteligența artificială generativă. În loc ca fiecare bibliotecă să folosească denumiri arbitrare, OpenInference normalizează atribute precum llm.invocation_parameters, llm.prompt_template, retrieval.documents și tool.call.

from openinference.instrumentation.llama_index import LlamaIndexInstrumentor
from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider

# Configurare tracer provider OpenTelemetry
provider = TracerProvider()
trace.set_tracer_provider(provider)

# Instrumentare transparentă a operațiilor LlamaIndex
LlamaIndexInstrumentor().instrument()
print("Toate operațiile de regăsire și generare emit span-uri OpenInference.")

Datele colectate pot fi exportate către orice colector OpenTelemetry și vizualizate în Datadog, Dynatrace, New Relic sau Jaeger fără blocaje tehnologice (vendor lock-in).