df.orderBy() & sort() este o componentă esențială în ecosistemul Apache Spark & PySpark. Sortarea globală a datelor peste toate nodurile clusterului pe una sau mai multe coloane cu direcție specificată.
Sintaxă și Utilizare Practică
Exemplu practic documentat pas cu pas:
from pyspark.sql.functions import col
# Sortare descrescătoare după venit și crescătoare după nume categorie
df_top = df_statistici.orderBy(
col("incasari_totale").desc(),
col("categorie_produs").asc()
)
df_top.show(10)Bune Practici în Producție
- Eficiență Computațională: Aplicați predicate pushdown, filtrați din timp datele și evitați operațiunile de shuffle redundante.
- Calitatea Datelor: Definiți teste automate de integritate și monitorizați calitatea la fiecare transformare.
- Optimizare de Costuri: Folosiți încărcare incrementală și politici automate de auto-suspendare pentru resursele de calcul.