Antete Personalizate și Telemetrie de Monitorizare pe Groq în Groq: LPU și GroqCloud API

La fiecare apel finalizat, serverele GroqCloud returnează în antetele HTTP informații extrem de detaliate despre performanța fizică a cipurilor LPU:

• x-groq-usage-total-time: Timpul total de procesare hardware în secunde.
• x-groq-usage-queue-time: Timpul petrecut de cerere în coada de așteptare.
• x-groq-usage-prompt-time: Timpul alocat procesării contextului inițial (Prefill).
• x-groq-usage-completion-time: Timpul alocat decodării tokenilor generați.

# Inspectarea metricilor hardware din răspunsul brut
response = client.chat.completions.with_raw_response.create(
    model="llama-3.1-8b-instant",
    messages=[{"role": "user", "content": "Ce este un LPU?"}]
)

print("Timp de calcul GPU/LPU:", response.headers.get("x-groq-usage-completion-time"))

Aceste date permit inginerilor să auditeze performanța la nivel de microsecundă.