Obiectele DataCollator din Transformers asamblează elementele individuale ale unui set de date în loturi uniforme (batches) în timpul antrenării, aplicând dinamic operațiuni precum padding-ul la lungimea maximă din lot (nu a întregului dataset) și mascarea tokenilor pentru Masked LM.
from transformers import DataCollatorForLanguageModeling
# Collator pentru Causal LM (Next-Token Prediction):
collator = DataCollatorForLanguageModeling(
tokenizer=tokenizer,
mlm=False # Causal LM, nu Masked LM
)
# Utilizat direct în Trainer:
trainer = Trainer(model=model, data_collator=collator, ...)Economie de memorie VRAM: Dynamic Padding reduce numărul de tokeni inutili de umplutură procesați cu până la 40%.
Întrebări & Exemple practice:
Data Collators: Pregătirea Dinamică a Loturilor cu DataCollatorForLanguageModelingAi o întrebare despre Data Collators: Pregătirea Dinamică a Loturilor cu DataCollatorForLanguageModeling sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.