df.withColumn() este o componentă esențială în ecosistemul Apache Spark & PySpark. Adăugarea unei coloane noi calculate sau transformarea de tip (casting) asupra unei coloane existente în DataFrame.
Sintaxă și Utilizare Practică
Exemplu practic documentat pas cu pas:
from pyspark.sql.functions import col, when, to_date
df_actualizat = df_raw \
.withColumn("data_tranzactie", to_date(col("timestamp_str"), "yyyy-MM-dd HH:mm:ss")) \
.withColumn("clasa_client",
when(col("total_cheltuit") > 5000, "VIP")
.when(col("total_cheltuit") > 1000, "STANDARD")
.otherwise("BASIC")
)Bune Practici în Producție
- Eficiență Computațională: Aplicați predicate pushdown, filtrați din timp datele și evitați operațiunile de shuffle redundante.
- Calitatea Datelor: Definiți teste automate de integritate și monitorizați calitatea la fiecare transformare.
- Optimizare de Costuri: Folosiți încărcare incrementală și politici automate de auto-suspendare pentru resursele de calcul.