Concatenarea DataFrame-urilor: df.union și df.unionByName în Apache Spark & PySpark

dataframe Apache Spark 3.5 / PySpark Q&A / Distribuie cod

Unirea pe verticală a două seturi de date cu aliniere pozițională clasică sau pe baza denumirilor coloanelor.

Sintaxă
df1.union(df2) / df1.unionByName(df2, allowMissingColumns=True)

Operațiunea de unire pe verticală este frecventă la agregarea datelor din surse multiple (ex. îmbinarea vânzărilor din diferite regiuni geografice):

  • df.union(): Realizează unirea bazându-se strict pe ordinea pozițională a coloanelor, indiferent de numele acestora (similar cu UNION ALL din SQL).
  • df.unionByName(): Aliniază automat coloanele după nume, prevenind inversarea accidentală a atributelor cu același tip de date. Dacă una dintre tabele conține coloane suplimentare, parametrul allowMissingColumns=True completează automat valorile lipsă cu NULL.
Exemplu: Unirea sigură a două DataFrame-uri cu schemă parțial diferită
# df1 are coloanele: [id, nume, email]
# df2 are coloanele: [email, id, nume, telefon]

df_complet = df1.unionByName(df2, allowMissingColumns=True)
df_complet.show()

Comunitate & Schimb de cunoștințe

Întrebări & Exemple de Cod: Concatenarea DataFrame-urilor: df.union și df.unionByName

Ai o nelămurire despre utilizarea comenzii Concatenarea DataFrame-urilor: df.union și df.unionByName sau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!

💬

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.

Comunitate Adaugă o întrebare sau distribuie un cod

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.