DatasetDict este containerul principal care grupează partițiile unui set de date. Permite aplicarea metodelor map(), filter() și save_to_disk() simultan pe toate split-urile.
Exemplu de utilizare
from datasets import DatasetDict, load_dataset
raw_data = load_dataset("ro_sts")
# raw_data este o instanță DatasetDict: {'train': ..., 'validation': ..., 'test': ...}
# Tokenizarea automată pe toate split-urile dintr-un singur apel
tokenized_data = raw_data.map(lambda x: tokenizer(x["sentence"]), batched=True)
# Salvarea pe disc a întregului dicționar
tokenized_data.save_to_disk("./tokenized_ro_sts")Oferă compatibilitate directă cu parametrii train_dataset și eval_dataset din Trainer.
Întrebări & Exemple practice:
Clasa DatasetDict în Datasets: Gestionarea Unificată a Împărțirilor Train/Validation/TestAi o întrebare despre Clasa DatasetDict în Datasets: Gestionarea Unificată a Împărțirilor Train/Validation/Test sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.