În inferența LLM, placa grafică este gâtuită de viteza cu care poate citi greutățile din memorie. Memoria SRAM din Groq LPU este integrată direct lângă unitățile aritmetice, oferind 80 TB/s.
Comparație lățime de bandă
- NVIDIA H100 (HBM3): ~3.35 TB/s lățime de bandă.
- Groq LPU (SRAM on-chip): ~80 TB/s (de peste 23 de ori mai rapid!).Explicația fizică directă pentru ratele de generare de peste 500 de tokeni pe secundă.
Întrebări & Exemple practice:
Lățimea de Bandă de 80 TB/s a Memoriei SRAM Integrate pe CipAi o întrebare despre Lățimea de Bandă de 80 TB/s a Memoriei SRAM Integrate pe Cip sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.