Metoda filter() creează un subset de date păstrând exclusiv mostrele pentru care funcția predicativă returnează True, rulând nativ în memorie Arrow cu viteză extremă.
Exemplu de utilizare
# Filtrarea exemplelor fără text relevant sau prea scurte
clean_dataset = dataset.filter(
lambda ex: ex["text"] is not None and len(ex["text"].strip()) >= 100,
num_proc=4
)
print(f"Rămase după filtrare: {len(clean_dataset)}")Nu modifică datele pe disc, ci actualizează rapid indicii Arrow fără a duplica stocarea.
Întrebări & Exemple practice:
Metoda Dataset.filter în Datasets: Curățarea și Filtrarea PredicativăAi o întrebare despre Metoda Dataset.filter în Datasets: Curățarea și Filtrarea Predicativă sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.