Platforma GroqCloud oferă dezvoltatorilor acces instantaneu la puterea cipurilor LPU printr-un API ultra-stabil cu interfață compatibilă OpenAI. Pentru ecosistemul Python, biblioteca oficială groq oferă metode sincrone și asincrone (`AsyncGroq`) extrem de curate.
Principalul caz de utilizare al Groq este construirea de Asistenți Vocali în Timp Real (Voice Agents): combinând modelul de transcriere Whisper rulate pe Groq (care transcrie 30 de secunde de voce în 100 de milisecunde), un model de limbaj Llama-3.3-70B (care răspunde în 200 de milisecunde) și un motor TTS rapid, întregul dialog atinge latențe sub 500ms, creând o conversație audio la fel de fluidă ca o convorbire telefonică reală.
Catalogul Groq include cele mai populare modele deschise: Llama 3.3 70B, Llama 3.1 8B, DeepSeek-R1-Distill-Llama-70B și modele multimodale Llama 3.2 Vision.
Sintaxă, opțiuni și concepte cheie
| Opțiune / Concept | Descriere practică |
|---|---|
Groq(api_key=...) |
Inițializarea clientului cu cheia API obținută gratuit din consola GroqCloud. |
model="llama-3.3-70b-versatile" |
Modelul fanion recomandat pentru programare, raționament și conversație. |
model="deepseek-r1-distill-llama-70b" |
Varianta de raționament profund distilat din DeepSeek rulată la viteză LPU. |
stream=True |
Activarea transmisiei chunked a tokenilor în timp real prin generator asincron. |
Exemple practice și cod
Exemplul 1: Streaming de text la viteză extremă cu clientul Groq în Python
Script minimalist ce demonstrează viteza de afișare a tokenilor.
from groq import Groq
import time
client = Groq(api_key="gsk_cheia_ta_groq_aici")
start_timp = time.time()
tokeni_numarati = 0
flux = client.chat.completions.create(
model="llama-3.3-70b-versatile",
messages=[
{"role": "system", "content": "Ești un arhitect software senior."},
{"role": "user", "content": "Explică pe scurt principiile Clean Architecture."}
],
stream=True
)
for chunk in flux:
continut = chunk.choices[0].delta.content or ""
print(continut, end="", flush=True)
tokeni_numarati += 1
durata = time.time() - start_timp
print(f"\n\n[Viteză efectivă: {tokeni_numarati / durata:.1f} tokeni/secundă în {durata:.2f}s]")Rezultat & Impact
Textul curge instantaneu pe ecran la peste 350 de tokeni pe secundă.Greșeli frecvente și bune practici
- Utilizarea comenzilor de citire buffer-ată fără `flush=True` în terminal, ceea ce face ca Python să aștepte umplerea memoriei tampon înainte de afișare, mascat viteza reală a Groq.
- Neconfigurarea limitelor de reîncercare (retries) la atingerea limitelor de rată (rate limits) pe nivelul gratuit de acces.