Modelele de limbaj sunt limitate de lățimea de bandă a memoriei GPU (memory bandwidth-bound) în faza de decodare, deoarece transferă toți parametrii modelului în registre pentru fiecare token individual generat. Speculative Decoding accelerează acest proces utilizând un model mic (Draft Model) alături de modelul principal (Target Model):
- Modelul mic generează rapid 4-6 tokeni speculativi la cost minim.
- Modelul mare validează toți acești tokeni într-un singur forward pass paralel.
- Dacă tokenii sunt conformi distribuției modelului mare, sunt acceptați instantaneu.
# Rulare Speculative Decoding în vLLM
python3 -m vllm.entrypoints.openai.api_server --model meta-llama/Llama-3.1-70B-Instruct --speculative-model meta-llama/Llama-3.1-8B-Instruct --num-speculative-tokens 5Rezultatul este o viteză de 2x-3x mai mare (tokeni pe secundă) cu garanția matematică că ieșirea este identică cu cea produsă de modelul mare de 70B de sine stătător.
Întrebări & Exemple practice:
Speculative Decoding: Creșterea Vitezei de Răspuns Fără Pierdere de AcuratețeAi o întrebare despre Speculative Decoding: Creșterea Vitezei de Răspuns Fără Pierdere de Acuratețe sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.