La generare, un model de limbaj produce tokenii unul câte unul, iar pentru fiecare token trebuie citite ponderile din memorie. Pe GPU, ponderile stau în memorie HBM separată de cip. Groq a proiectat LPU (Language Processing Unit) pentru inferență, pe patru principii descrise în articolul oficial „What is a Language Processing Unit?” (martie 2025): software întâi, arhitectură de tip „linie de asamblare” programabilă, calcul și rețea deterministe și memorie pe cip. Lucrarea Groq de la ISCA 2022 numește procesorul Tensor Streaming Processor (TSP).
Fișa oficială GroqChip (v1.7, 2024) dă pentru prima generație: proces de 14 nm, 230 MB de SRAM pe cip, lățime de bandă a memoriei pe cip de până la 80 TB/s, până la 750 TOPS (INT8) și 188 TFLOPS (FP16) la 900 MHz, 16 legături directe între cipuri (RealScale), PCIe Gen4 x16 și consum maxim de 300 W. Groq compară cei peste 80 TB/s ai SRAM-ului cu aproximativ 8 TB/s ai memoriei HBM de pe GPU și susține că diferența dă LPU-ului un avantaj de viteză de până la 10 ori. Comparația este a producătorului, nu o măsurătoare independentă.
Determinismul înseamnă că, la compilare, compilatorul Groq planifică fiecare mutare de date și fiecare operație, cu precizie de ciclu de ceas. Cipul nu are cache-uri sau arbitraj dinamic, iar între cipuri datele circulă fără routere sau switch-uri externe, deci mai multe cipuri formează o singură linie de asamblare. Consecința: memoria pe cip este mică, așa că un model mare este împărțit pe multe cipuri. Groq a rulat astfel Llama 4 Maverick (400B parametri, MoE) din ziua lansării.
În decembrie 2025, Groq a încheiat cu NVIDIA un acord de licențiere neexclusivă a tehnologiei sale de inferență; fondatorul Jonathan Ross, președintele Sunny Madra și alți membri ai echipei au trecut la NVIDIA, iar Groq a rămas o companie independentă care operează GroqCloud. NVIDIA a anunțat pe 24 august 2026 că NVIDIA Groq 3 LPX este în producție: un rack cu 256 de LPU-uri (500 MB SRAM și 150 TB/s pe LPU; 128 GB SRAM, 40 PB/s și 640 TB/s scale-up pe rack, plus 12 TB DDR5), care lucrează împreună cu Vera Rubin NVL72. Comunicatul NVIDIA precizează că numele Groq și LPU sunt folosite sub licență de la Groq, Inc., iar Groq a anunțat că va fi printre primii care îl instalează în GroqCloud.
Concepte cheie și caracteristici
| Concept / Parametru | Descriere practică |
|---|---|
SRAM pe cip (GroqChip) |
230 MB pe cip, accesibil global între cipuri; ponderile nu stau în memorie externă. |
Lățime de bandă pe cip |
Până la 80 TB/s (fișa GroqChip). Groq dă pentru HBM-ul de pe GPU circa 8 TB/s. |
Calcul (GroqChip) |
Până la 750 TOPS INT8 și 188 TFLOPS FP16 la 900 MHz, proces de 14 nm. |
Execuție deterministă |
Compilatorul planifică static fiecare transfer; programul rulează la fel la fiecare execuție, fără variații de timp. |
RealScale |
Legăturile directe între cipuri (16 pe GroqChip), fără switch-uri sau CPU-uri intermediare. |
TruePoint |
Numerica Groq care reduce precizia doar unde nu afectează acuratețea; fișele modelelor din GroqCloud o menționează la cuantizare. |
NVIDIA Groq 3 LPX |
256 de LPU-uri pe rack, 128 GB SRAM, 40 PB/s, 640 TB/s scale-up; asociat cu Vera Rubin NVL72. Groq.com mai indică 315 PFLOPS FP8 pe rack. |
Exemple practice și scenarii reale
Exemplul 1: Câte cipuri de 230 MB ar ocupa doar ponderile unui model
Calcul aritmetic, nu configurația reală a GroqCloud: nu include cache-ul KV, activările sau replicile. Arată de ce un model mare se împarte pe sute de cipuri.
import math
SRAM_CIP_MB = 230 # GroqChip, fișa v1.7
def cipuri_pentru_ponderi(parametri_miliarde, biti_pe_parametru):
mb = parametri_miliarde * 1e9 * biti_pe_parametru / 8 / 1e6
return math.ceil(mb / SRAM_CIP_MB)
print(cipuri_pentru_ponderi(70, 8)) # model de 70B la 8 biți
print(cipuri_pentru_ponderi(70, 16)) # același model la 16 bițiExemplul 2: Viteza reală măsurată din răspunsul API-ului
În loc de comparații de marketing, folosește timpii din usage: completion_time este timpul de generare, iar queue_time timpul petrecut în coadă.
from groq import Groq
client = Groq()
r = client.chat.completions.create(
model="openai/gpt-oss-120b",
messages=[{"role": "user", "content": "Explică în 200 de cuvinte ce este un LPU."}],
)
u = r.usage
print(f"{u.completion_tokens / u.completion_time:.0f} tokeni/s, coadă {u.queue_time:.3f} s")Greșeli frecvente și capcane
- Confunzi Groq (compania care a creat LPU) cu Grok, chatbotul xAI. Sunt companii și produse diferite.
- Iei cifrele de viteză din materiale de marketing ca rezultat garantat. Viteza depinde de model, de lungimea promptului și de coadă; măsoar-o pe cererile tale.
- Crezi că execuția deterministă face răspunsul identic la fiecare cerere. Determinismul privește planificarea hardware; textul depinde în continuare de eșantionare (
temperature,seed). - Spui că Groq a fost cumpărat de NVIDIA. Comunicatele oficiale vorbesc despre o licențiere neexclusivă, nu despre o achiziție; Groq a strâns finanțare nouă în 2026 ca firmă independentă.