Când trimiti un System Prompt masiv de 5.000 de tokeni de instrucțiuni de fiecare dată, cipurile LPU păstrează reprezentarea în SRAM. Astfel, timpul până la primul token scade de la 80ms la sub 10ms.
Criterii de activare cache
- Prefixul trebuie să fie identic literă cu literă (inclusiv spațiile albe).
- Lungime minimă: 1024 de tokeni la începutul mesajului.
- Nu necesită nicio modificare de cod; activat automat la nivel de infrastructură.Permite crearea de asistenți RAG ultra-rapizi pe baze de documentație stabile.
Întrebări & Exemple practice:
Prefix Caching pe SRAM: Latență Sub 10ms pe Contexte ReutilizateAi o întrebare despre Prefix Caching pe SRAM: Latență Sub 10ms pe Contexte Reutilizate sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.