df.groupBy() & agg() este o componentă esențială în ecosistemul Apache Spark & PySpark. Gruparea înregistrărilor distribuite pe cluster și calcularea de metrici agregate (sum, avg, count, max, min).
Sintaxă și Utilizare Practică
Exemplu practic documentat pas cu pas:
from pyspark.sql.functions import count, sum, avg, round
df_statistici_categorii = df_vanzari.groupBy("categorie_produs") \
.agg(
count("id_tranzactie").alias("total_vanzari"),
sum("valoare").alias("incasari_totale"),
round(avg("valoare"), 2).alias("valoare_medie_cos")
) \
.orderBy(col("incasari_totale").desc())
df_statistici_categorii.show()Bune Practici în Producție
- Eficiență Computațională: Aplicați predicate pushdown, filtrați din timp datele și evitați operațiunile de shuffle redundante.
- Calitatea Datelor: Definiți teste automate de integritate și monitorizați calitatea la fiecare transformare.
- Optimizare de Costuri: Folosiți încărcare incrementală și politici automate de auto-suspendare pentru resursele de calcul.
Întrebări & Exemple de Cod:
df.groupBy() & agg()Ai o nelămurire despre utilizarea comenzii
df.groupBy() & agg()sau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.