Pentru a evita blocarea procesorului grafic în timp ce CPU-ul formatează textul rând cu rând, biblioteca datasets permite procesarea în loturi (batched=True) pe mai multe procese paralele (num_proc).
from datasets import load_dataset
dataset = load_dataset("yahma/alpaca-cleaned", split="train")
# Aplicare paralelă pe 4 nuclee CPU
dataset = dataset.map(
formatting_prompts_func,
batched=True,
num_proc=4,
remove_columns=dataset.column_names, # Păstrăm doar coloana 'text' formatată
)
print(f"Dataset tokenizat gata de antrenare: {len(dataset)} exemple")Această etapă de pre-procesare durează câteva secunde chiar și pentru seturi de date de sute de mii de rânduri.
Întrebări & Exemple practice:
Procesarea Rapidă a Datelor cu dataset.map(batched=True)Ai o întrebare despre Procesarea Rapidă a Datelor cu dataset.map(batched=True) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.