df.write.mode() este o componentă esențială în ecosistemul Apache Spark & PySpark. Scrierea DataFrame-urilor în formate columnare (Parquet, Delta Lake) cu moduri de suprascriere, alipire sau ignorare.
Sintaxă și Utilizare Practică
Exemplu practic documentat pas cu pas:
# Salvare DataFrame partiționat pe coloana an și lună cu compresie Snappy
df_procesat.write \
.mode("overwrite") \
.partitionBy("an", "luna") \
.option("compression", "snappy") \
.parquet("s3a://dexblog-lakehouse/curatat/vanzari/")Bune Practici în Producție
- Eficiență Computațională: Aplicați predicate pushdown, filtrați din timp datele și evitați operațiunile de shuffle redundante.
- Calitatea Datelor: Definiți teste automate de integritate și monitorizați calitatea la fiecare transformare.
- Optimizare de Costuri: Folosiți încărcare incrementală și politici automate de auto-suspendare pentru resursele de calcul.