Deși generarea pe Groq este atât de rapidă încât chiar și răspunsurile fără streaming par instantanee, activarea parametrului stream=True oferă o experiență uluitoare utilizatorilor finali, textul curgând pe ecran la viteze de neegalat:
from groq import Groq
client = Groq()
stream = client.chat.completions.create(
model="llama-3.1-8b-instant",
messages=[{"role": "user", "content": "Scrie un ghid tehnic despre Kubernetes Pods."}],
stream=True
)
for chunk in stream:
text = chunk.choices[0].delta.content
if text:
print(text, end="", flush=True)Viteza de streaming pe Groq depășește frecvent capacitatea ochiului uman de a citi în timp real.
Întrebări & Exemple practice:
Recepția Fluxului de Tokeni cu Server-Sent Events în GroqAi o întrebare despre Recepția Fluxului de Tokeni cu Server-Sent Events în Groq sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.