Metoda prepare() adaptează modelul, optimizatorul și încărcătoarele de date (Dataloaders) pentru execuția distribuită, asigurând divizarea corectă a loturilor de date pe fiecare proces GPU.
Exemplu de utilizare
from accelerate import Accelerator
from torch.utils.data import DataLoader
accelerator = Accelerator()
model, optimizer, train_loader = accelerator.prepare(
model, optimizer, train_loader
)
for batch in train_loader:
optimizer.zero_grad()
outputs = model(**batch)
loss = outputs.loss
accelerator.backward(loss) # În loc de loss.backward()
optimizer.step()Apelul accelerator.backward(loss) scalează corect gradientele în regim de precizie mixtă.
Întrebări & Exemple practice:
Metoda Accelerator.prepare în Accelerate: Pregătirea Modelelor și Dataloaderelor pentru DistribuireAi o întrebare despre Metoda Accelerator.prepare în Accelerate: Pregătirea Modelelor și Dataloaderelor pentru Distribuire sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.