Metoda map() aplică o funcție Python de transformare peste fiecare rând sau lot de rânduri dintr-un dataset, fiind metoda standard pentru tokenizarea la scară a textelor înainte de antrenare.
Exemplu de utilizare
def preprocess_data(batch):
return tokenizer(
batch["text"],
truncation=True,
max_length=512,
padding="max_length"
)
tokenized_dataset = dataset.map(
preprocess_data,
batched=True,
batch_size=1000,
num_proc=4,
remove_columns=["text"]
)Parametrul num_proc distribuie automat sarcina pe toate nucleele CPU disponibile.
Întrebări & Exemple practice:
Metoda Dataset.map în Datasets: Procesarea Paralelă a Exemplelor și TokenizareaAi o întrebare despre Metoda Dataset.map în Datasets: Procesarea Paralelă a Exemplelor și Tokenizarea sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.