DeepSeek-V3 este modelul de limbaj de referință open-source lansat la sfârșitul anului 2024. Cu un total de 671 de miliarde de parametri, arhitectura MoE activează doar 37 de miliarde de parametri pentru fiecare token individual, oferind viteza și costul operațional al unui model compact.
Specificații cheie:
- Arhitectură de atenție: Multi-Head Latent Attention (MLA) cu dimensiune de context de 128k tokeni.
- Structură MoE: 1 expert partajat + 256 de experți fini (8 activați per token).
- Antrenat pe un set masiv de 14.8 trilioane de tokeni de înaltă calitate.
- Eficiență computațională: antrenat cu doar 2.788 milioane de ore GPU H800.
Modelul este licențiat complet deschis sub licența permisivă MIT, permițând utilizarea comercială nelimitată.
Întrebări & Exemple practice:
Arhitectura Modelului DeepSeek-V3: 671B Parametri și 37B ActiviAi o întrebare despre Arhitectura Modelului DeepSeek-V3: 671B Parametri și 37B Activi sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.