Funcția load_dataset() oferă acces unificat la seturile de date stocate pe Hub sau locale (CSV, Parquet, JSON, Arrow), optimizând consumul de RAM prin mapare de memorie pe disc (Memory Mapping).
Exemplu de utilizare
from datasets import load_dataset
# Încărcare set de date cu split specific
dataset = load_dataset("imdb", split="train")
print(f"Număr exemple: {len(dataset)}")
# Streaming pentru seturi masive de zeci de GB fără descărcare completă
stream_ds = load_dataset("c4", "en", split="train", streaming=True)
for exemplu in stream_ds.take(3):
print(exemplu["text"][:100])Modul streaming=True permite iterarea instantanee peste miliarde de tokeni fără a descărca întregul corpus pe disc.
Întrebări & Exemple practice:
Funcția load_dataset în Hugging Face Datasets: Încărcarea și Streamingul DatelorAi o întrebare despre Funcția load_dataset în Hugging Face Datasets: Încărcarea și Streamingul Datelor sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.