În inferența modelelor mari de limbaj, viteza de generare a fiecărui token este limitată de cât de rapid pot fi transferate greutățile modelului din memorie în unitățile aritmetice (Memory Bandwidth Bottleneck). Chiar și cele mai performante plăci GPU folosesc memorie externă HBM3e cu o lățime de bandă de ~3.3 TB/s.
Fiecare cip Groq LPU conține 230 MB de memorie SRAM integrată direct pe siliciu, oferind o lățime de bandă uluitoare de 80 TB/s (de peste 20 de ori mai mare decât GPU-urile de vârf). Prin interconectarea a sute de LPU-uri într-un rack, întregul model este păstrat în SRAM, permițând viteze de generare de până la 1000 de tokeni pe secundă.
Întrebări & Exemple practice:
Memoria SRAM On-Chip vs HBM: 80 TB/s Lățime de Bandă per LPUAi o întrebare despre Memoria SRAM On-Chip vs HBM: 80 TB/s Lățime de Bandă per LPU sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.