Ce este
Pe GPU-urile moderne, citirea ponderilor din memorie este principala gâtuire (memory bandwidth bottleneck). Rularea unui model uriaș pentru a genera un singur token simplu (precum ‘și’ sau ‘în’) irosește o mare parte din puterea de calcul.
Decodarea speculativă folosește un model ‘ucenic’ mic și rapid (draft model) care generează rapid 4-5 tokeni speculativi, iar modelul mare ‘profesor’ îi validează pe toți simultan într-un singur pas paralel.
Analogia din viața reală
Gândește-te la un avocat de top și asistentul său stagiar: stagiarul redactează rapid paragrafele standard dintr-un contract; avocatul senior citește dintr-o singură privire cele 5 rânduri scrise de stagiar, aprobă primele 4 și corectează ultimul cuvânt. Munca se termină de 3 ori mai repede decât dacă avocatul senior ar fi tastat el însuși fiecare literă.
Cum funcționează tehnic
Pasul 1: Modelul mic (ex. Llama 3 8B) generează speculativ K tokeni secvențial la viteză foarte mare.
Pasul 2: Modelul mare (Llama 3 70B) evaluează toți cei K tokeni în paralel într-o singură pasă prin rețea.
Pasul 3: Printr-un algoritm ingenios de acceptare/respingere, rezultatul matematic final este garantat 100% identic cu distribuția pe care ar fi produs-o modelul mare singur.
Exemple practice și aplicații
- Accelerarea vitezei de la 25 tokeni/secundă la 65 tokeni/secundă pe Llama-3-70B folosind Llama-3-8B ca draft model.
- Variante fără model separat: Medusa și Prompt Lookup Decoding (reutilizarea fragmentelor de text deja prezente în prompt).
Greșeli frecvente sau mituri
Decodarea speculativă NU degradează calitatea textului (nu este o aproximare probabilistică sau o cuantizare); ieșirea finală este matematic identică cu cea a modelului original.
Termeni înrudiți
kv-cache: Noțiune asociată din ghidul de Modele Mari de Limbaj.cuantizare-llm: Noțiune asociată din ghidul de Modele Mari de Limbaj.next-token-prediction: Noțiune asociată din ghidul de Modele Mari de Limbaj.