Groq este o companie americană fondată în 2016 care a proiectat LPU (Language Processing Unit), un procesor pentru inferența modelelor de limbaj, și operează platforma GroqCloud, cu un API compatibil OpenAI. În decembrie 2025, Groq a încheiat cu NVIDIA un acord de licențiere neexclusivă a tehnologiei sale de inferență: fondatorul Jonathan Ross și o parte din echipă au trecut la NVIDIA, iar Groq a rămas o companie independentă. În 2026, NVIDIA a pus în producție racul NVIDIA Groq 3 LPX, cu 256 de LPU-uri, iar Groq a devenit NVIDIA Cloud Partner.
GPU-urile țin ponderile modelului în memorie HBM separată de cip. Prima generație de LPU (GroqChip, 14 nm) are 230 MB de SRAM pe cip, cu o lățime de bandă de până la 80 TB/s, iar compilatorul Groq planifică static fiecare transfer de date, astfel încât execuția este deterministă. Vitezele publicate de Groq diferă de la model la model: în octombrie 2026, aproximativ 500 de tokeni/s pentru openai/gpt-oss-120b și 1000 pentru openai/gpt-oss-20b.
Secțiunea explică arhitectura LPU, SDK-ul oficial groq pentru Python, modelele actuale și deprecierile, modelele de raționament, tool calling și Structured Outputs, Responses API cu MCP, transcrierea și sinteza vocală, Batch, Flex și prompt caching. Paginile urmează documentația oficială GroqCloud din octombrie 2026.