Dimensiunea micro-lotului (per_device_train_batch_size) reprezintă câte secvențe complete încap în memoria VRAM în același timp. Pe un GPU de 16 GB cu context de 2048 tokeni, valoarea optimă este de obicei 2.
# Dacă primiți erori CUDA OOM, reduceți la 1:
per_device_train_batch_size = 1
# Pe un GPU mai mare (RTX 4090 de 24 GB sau A100), puteți crește la 4 sau 8:
# per_device_train_batch_size = 4Pentru a obține un lot mare de antrenare stabil, această valoare se multiplică cu pașii de acumulare a gradienților.
Întrebări & Exemple practice:
Setarea Dimensiunii Lotului (per_device_train_batch_size)Ai o întrebare despre Setarea Dimensiunii Lotului (per_device_train_batch_size) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.