Mixtral 8x7B a demonstrat pentru prima dată eficiența modelelor MoE în lumea open-source. Pe GroqCloud, Mixtral rulează pe o rețea de LPU-uri dedicată care activează cei 2 experți necesari per token în mod determinist, deservind o fereastră de context de 32k tokeni cu o fluență de invidiat.
Mixtral 8x7B MoE: Rulare Rapidă cu Rutare Hardware Specializată în Groq: LPU și GroqCloud API
Sintaxă & invocare
model = 'mixtral-8x7b-32768'
Întrebări & Exemple practice:
Mixtral 8x7B MoE: Rulare Rapidă cu Rutare Hardware SpecializatăAi o întrebare despre Mixtral 8x7B MoE: Rulare Rapidă cu Rutare Hardware Specializată sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.