Antrenarea în FP8 dublează viteza cipurilor, dar poate crea instabilitate numerică. DeepSeek a inventat scalarea fină pe plăcuțe mici de matrice (Fine-Grained Tiling), garantând precizia.
Format FP8 utilizat
- Faza Forward: Format E4M3 (4 biți exponent, 3 biți mantisă) pentru reprezentare dinamică largă.
- Faza Backward: Format E5M2 (5 biți exponent, 2 biți mantisă) pentru acoperirea gradientelor mici.Reduce necesarul de memorie și accelerează operațiile Tensor Core cu 2x.
Întrebări & Exemple practice:
Operații Matriciale GEMM în Format FP8 Mixt cu Blocuri Fine de ScalareAi o întrebare despre Operații Matriciale GEMM în Format FP8 Mixt cu Blocuri Fine de Scalare sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.