Eșantionarea Statistică Distribuită cu df.sample în Apache Spark & PySpark

dataframe Apache Spark 3.5 / PySpark Q&A / Distribuie cod

Extragerea unui eșantion reprezentativ dintr-un set de date masiv pentru prototipare rapidă sau antrenare ML.

Sintaxă
df.sample(withReplacement=False, fraction=0.1, seed=42)

Când lucrați cu seturi de date de ordinul terabytes-ilor, executarea experimentelor pe întregul volum este lentă și consumatoare de resurse. Metoda df.sample() extrage o fracțiune reprezentativă distribuită de date fără a descărca întregul volum pe mașina locală.

Parametrul seed asigură reproductibilitatea științifică a experimentului la rulări succesive.

Exemplu: Extragerea a 5% din date pentru antrenarea unui model
# Extragere a 5% (0.05) din înregistrări fără repetiție (withReplacement=False):
df_sample = df_masiv.sample(withReplacement=False, fraction=0.05, seed=2026)

print(f"Linii eșantionate: {df_sample.count()}")

Comunitate & Schimb de cunoștințe

Întrebări & Exemple de Cod: Eșantionarea Statistică Distribuită cu df.sample

Ai o nelămurire despre utilizarea comenzii Eșantionarea Statistică Distribuită cu df.sample sau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!

💬

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.

Comunitate Adaugă o întrebare sau distribuie un cod

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.