df.join() & Broadcast Join este o componentă esențială în ecosistemul Apache Spark & PySpark. Îmbinarea a două DataFrame-uri distribuite cu optimizare prin Broadcast Join pentru tabele de dimensiuni reduse.
Sintaxă și Utilizare Practică
Exemplu practic documentat pas cu pas:
from pyspark.sql.functions import broadcast
# Tabela mica de referinta pentru tari este trimisa prin broadcast tuturor executorilor
df_final = df_comenzi_mari.join(
broadcast(df_tari_dimensiune),
df_comenzi_mari["cod_tara"] == df_tari_dimensiune["cod"],
how="inner"
).drop(df_tari_dimensiune["cod"])Bune Practici în Producție
- Eficiență Computațională: Aplicați predicate pushdown, filtrați din timp datele și evitați operațiunile de shuffle redundante.
- Calitatea Datelor: Definiți teste automate de integritate și monitorizați calitatea la fiecare transformare.
- Optimizare de Costuri: Folosiți încărcare incrementală și politici automate de auto-suspendare pentru resursele de calcul.