Metoda df.distinct() returnează un DataFrame care conține doar rândurile unice, comparând toate coloanele disponibile. Spre deosebire de dropDuplicates() (care permite selectarea unui subset de coloane cheie), distinct() garantează unicitatea întregii tuple.
Din punct de vedere al execuției, distinct() implică o etapă de Shuffling, grupând rândurile cu aceeași valoare hash pe aceiași executori pentru comparare.
Exemplu: Eliminarea dublurilor dintr-o listă de categorii
df_categorii = df_produse.select("departament", "categorie").distinct()
print(f"Număr categorii unice: {df_categorii.count()}")
df_categorii.show(10)
Întrebări & Exemple de Cod:
Deduplicarea Datelor Globale cu df.distinctAi o nelămurire despre utilizarea comenzii
Deduplicarea Datelor Globale cu df.distinctsau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.