Descriere & Utilizare
Modelele mari de limbaj generează în mod normal un singur token la fiecare pas înainte prin rețea. Decodarea speculativă folosește un model geamăn mult mai mic (ex: Llama 1B sau un model draft) care ‘ghicește’ următorii 3-5 tokeni aproape instant.
Modelul mare (Llama 70B) validează toți acești tokeni propuși într-o singură verificare paralelă, acceptând majoritatea predicțiilor și accelerând masiv viteza fără a pierde nicio fărâmă din calitatea răspunsului.
Cum să o reții ușor
💡 Un stenograf rapid care anticipează sfârșitul frazelor rostite de un profesor universitar: profesorul doar dă din cap aprobator dacă stenograma e exactă, fără să dicteze literă cu literă.
Opțiuni și parametri tehnici
- Modelul draft generează speculativ N tokeni.
- Modelul țintă rulează verificarea paralelă și emite o mască de acceptare.
Exemple practice și cazuri de utilizare
vllm serve meta-llama/Meta-Llama-3-70B-Instruct --speculative-model meta-llama/Llama-3.2-1B-Instruct --num-speculative-tokens 5
Sfaturi de configurare & capcane
Modelul speculativ trebuie să împartă același vocabular și tokenizer cu modelul țintă principal.
Comenzi și ghiduri înrudite
continuous-batching: Comandă asociată din acest modul.tensor-parallel-size: Comandă asociată din acest modul.vllm-serve: Comandă asociată din acest modul.