Statistici Descriptive Rapide cu df.describe și df.summary în Apache Spark & PySpark

dataframe Apache Spark 3.5 / PySpark Q&A / Distribuie cod

Calculul distribuit al valorilor statistice cheie: medie, deviație standard, minim, procente și maxim.

Sintaxă
df.describe(*cols) / df.summary(*statistics)

Metodele df.describe() și df.summary() oferă o privire de ansamblu statistică asupra coloanelor numerice sau text dintr-un DataFrame masiv:

  • describe(): Calculează automat count, mean, stddev, min și max.
  • summary(): Permite adăugarea percentilelor specifice (ex: 25%, 50%, 75%, 95%) pentru identificarea anomaliilor (outliers).
Exemplu: Analiza distribuției prețurilor și a vârstelor
# Statistici generale:
df.select("pret", "varsta").describe().show()

# Statistici detaliate cu percentile pentru identificarea extremelor:
df.select("pret").summary("count", "mean", "25%", "50%", "75%", "99%", "max").show()

Comunitate & Schimb de cunoștințe

Întrebări & Exemple de Cod: Statistici Descriptive Rapide cu df.describe și df.summary

Ai o nelămurire despre utilizarea comenzii Statistici Descriptive Rapide cu df.describe și df.summary sau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!

💬

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.

Comunitate Adaugă o întrebare sau distribuie un cod

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.