ZeRO (Zero Redundancy Optimizer) de la Microsoft și implementarea sa nativă în PyTorch, FSDP (Fully Sharded Data Parallel), elimină redundanța de memorie din antrenarea distribuită prin fragmentarea (sharding) stărilor optimizatorului, a gradienților și a greutăților pe toate GPU-urile active.
Nivelurile ZeRO / FSDP:
- ZeRO-1: Fragmentează doar stările optimizatorului AdamW (reduce memoria de 4 ori).
- ZeRO-2: Fragmentează optimizatorul și gradienții (reduce memoria de 8 ori).
- ZeRO-3 / FSDP Full Shard: Fragmentează inclusiv ponderile modelului. Fiecare GPU
își descarcă ponderile stratului doar atunci când este rândul său să le calculeze
printr-o operație colectivă All-Gather, eliberându-le imediat din memorie.Democratizarea antrenării: Permite fine-tuning-ul modelelor de 70B pe infrastructuri accesibile fără biblioteci comerciale complexe.
Întrebări & Discuții: FSDP și Tehnologia ZeRO în LLM: Sharding-ul Complet al Stărilor de Antrenare
Ai o întrebare despre FSDP și Tehnologia ZeRO în LLM: Sharding-ul Complet al Stărilor de Antrenare sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.