df.select() & col() este o componentă esențială în ecosistemul Apache Spark & PySpark. Selectarea, redenumirea și transformarea coloanelor dintr-un DataFrame folosind funcții scalare și expresii aritmetice.
Sintaxă și Utilizare Practică
Exemplu practic documentat pas cu pas:
from pyspark.sql.functions import col, round
# Selectare coloane specifice și adăugare calcul TVA în lei
df_clienti = df_vanzari.select(
col("id_comanda"),
col("nume_client").alias("client"),
col("suma_eur"),
round(col("suma_eur") * 4.97, 2).alias("suma_ron")
)
df_clienti.show(5)Bune Practici în Producție
- Eficiență Computațională: Aplicați predicate pushdown, filtrați din timp datele și evitați operațiunile de shuffle redundante.
- Calitatea Datelor: Definiți teste automate de integritate și monitorizați calitatea la fiecare transformare.
- Optimizare de Costuri: Folosiți încărcare incrementală și politici automate de auto-suspendare pentru resursele de calcul.