Modelele clasice de limbaj sunt antrenate exclusiv cu obiectivul autoregresiv de a prezice un singur token viitor (Next-Token Prediction). DeepSeek-V3 inovează prin introducerea modulelor de Multi-Token Prediction (MTP), care antrenează capete suplimentare să prezică simultan tokenii t+1 și t+2.
Beneficiile MTP în producție:
- Semnal Bogat de Gradient: Forțează reprezentările ascunse să captureze planificarea pe termen lung a propoziției.
- Speculative Decoding Fără Model Separat: Capetele MTP funcționează nativ ca un model de ciornă (Draft Model), permițând generarea a 2 tokeni la fiecare forward pass fără niciun overhead extern.
# Schema modulului MTP în DeepSeek-V3:
# Stratul principal generează h_t
token_1 = lm_head(h_t)
# Modulul MTP 1 primește concatenarea [h_t, Emb(token_1)]
h_t_plus_1 = mtp_module_1(torch.cat([h_t, embed(token_1)], dim=-1))
token_2 = lm_head(h_t_plus_1) # Predicție speculativă confirmată paralel!Această tehnologie accelerează rata de generare a tokenilor cu până la 1.8x la inferență.
Întrebări & Exemple practice:
Predicția Multi-Token (MTP) în DeepSeek-V3Ai o întrebare despre Predicția Multi-Token (MTP) în DeepSeek-V3 sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.