Funcția F.monotonically_increasing_id() generează numere întregi pe 64 de biți (Long) garantat unice și crescătoare pentru fiecare rând din DataFrame. Cheia este calculată folosind ID-ul partiției în primii 31 de biți și numărul rândului din partiție în restul de 33 de biți.
Deoarece nu necesită un nod central de sincronizare, este cea mai rapidă metodă de a atașa o cheie primară surogat unui set masiv de date.
Exemplu: Atașarea unei chei unice surogat la datele ingerate
from pyspark.sql import functions as F
df_cu_id = df_brut.withColumn("id_unic", F.monotonically_increasing_id())
df_cu_id.select("id_unic", "nume", "email").show(5)
Întrebări & Exemple de Cod:
Generarea ID-urilor Unice cu F.monotonically_increasing_idAi o nelămurire despre utilizarea comenzii
Generarea ID-urilor Unice cu F.monotonically_increasing_idsau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.