dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
SPARK Toate comenzile Apache Spark & PySpark

Salvarea Fluxurilor de Streaming cu df.writeStream în Apache Spark & PySpark

streaming Apache Spark 3.5 / Structured Streaming Q&A / Distribuie cod

Persistența continuă a datelor din flux în destinații Delta Lake, console sau fișiere Parquet.

Sintaxă 
df.writeStream.outputMode('append').format('delta').option('checkpointLocation', p).start(out_path)

Metoda writeStream inițiază execuția interogării continue pe fluxul de date și definește destinația de scriere (Sink):

  • outputMode('append'): Doar rândurile nou sosite în ultimul micro-batch sunt salvate.
  • outputMode('complete'): Întregul tabel agregat este rescris (pentru calcule de tip count cumulativ).
  • checkpointLocation: Director obligatoriu pe un sistem de fișiere fiabil unde Spark salvează starea internă a procesării și offset-urile confirmate.
Exemplu: Scriere continuă în format Delta Lake cu recuperare la defectare
query = df_evenimente.writeStream \
    .format("delta") \
    .outputMode("append") \
    .option("checkpointLocation", "s3a://data-lake/checkpoints/plati/") \
    .start("s3a://data-lake/gold/plati/")

# Menține procesul activ în fundal:
# query.awaitTermination()

Comunitate & Schimb de cunoștințe

Întrebări & Exemple de Cod: Salvarea Fluxurilor de Streaming cu df.writeStream

Ai o nelămurire despre utilizarea comenzii Salvarea Fluxurilor de Streaming cu df.writeStream sau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!

💬

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.

Comunitate Adaugă o întrebare sau distribuie un cod

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.