Alegerea formatului de reprezentare numerică a greutăților și activărilor determină consumul de memorie și viteza nucleelor Tensor Cores de pe cipurile moderne (NVIDIA H100, B200).
Formate de bază utilizate în LLM:
1. BF16 (Bfloat16): Standardul de aur pentru antrenare (1 bit semn, 8 biți exponent, 7 mantisă).
Păstrează aceeași plajă dinamică ca FP32 fără subflux numeric (underflow).
2. FP8 (8-bit Floating Point):
- E4M3: 4 biți exponent, 3 mantisă (ideal pentru greutăți și treceri forward).
- E5M2: 5 biți exponent, 2 mantisă (plajă dinamică mare pentru gradienți în backward).
3. INT4 (AWQ / GPTQ): Greutățile ocupă doar 4 biți, permițând rularea unui model
de 70 de miliarde de parametri pe o singură placă video de 48 GB VRAM.Viteză dublată: Rularea în format FP8 oferă un debit de două ori mai mare decât BF16 datorită nucleelor dedicate de calcul pe 8 biți.
Întrebări & Discuții: Formate Numerice FP8, BF16 și INT4 în LLM: Eficiență Hardware Hopper și Blackwell
Ai o întrebare despre Formate Numerice FP8, BF16 și INT4 în LLM: Eficiență Hardware Hopper și Blackwell sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.