df.dropDuplicates() este o componentă esențială în ecosistemul Apache Spark & PySpark. Eliminarea rândurilor duplicat dintr-un set masiv de date pe baza unei chei unice compuse.
Sintaxă și Utilizare Practică
Exemplu practic documentat pas cu pas:
# Păstrarea unei singure apariții per utilizator și sesiune
df_deduplicat = df_evenimente.dropDuplicates(subset=["user_id", "session_id", "eveniment_id"])
print(f"Numar randuri dupa deduplicare: {df_deduplicat.count()}")Bune Practici în Producție
- Eficiență Computațională: Aplicați predicate pushdown, filtrați din timp datele și evitați operațiunile de shuffle redundante.
- Calitatea Datelor: Definiți teste automate de integritate și monitorizați calitatea la fiecare transformare.
- Optimizare de Costuri: Folosiți încărcare incrementală și politici automate de auto-suspendare pentru resursele de calcul.