Sume Cumulative și Ferestre Mobile cu rowsBetween în Apache Spark & PySpark

window Apache Spark 3.5 / PySpark Q&A / Distribuie cod

Calcularea totalurilor cumulative (Running Total) și a mediilor pe ferestre mobile (Rolling Averages).

Sintaxă
Window.partitionBy(col).orderBy(col).rowsBetween(start, end)

Prin specificarea clauzei rowsBetween() pe o fereastră Spark, se pot defini limitele fizice ale calculului de agregare față de rândul curent:

  • Window.unboundedPreceding: De la începutul partiției până la rândul curent (ideal pentru totaluri cumulative).
  • Window.currentRow: Rândul curent procesat.
  • Valori numerice relative (ex. -6 până la 0 pentru o medie mobilă pe ultimele 7 zile).
Exemplu: Total cumulativ de încasări și medie mobilă pe 3 zile
from pyspark.sql import functions as F
from pyspark.sql.window import Window

w_cumulativ = Window.partitionBy("magazin").orderBy("data") \
    .rowsBetween(Window.unboundedPreceding, Window.currentRow)

w_mobil_3zile = Window.partitionBy("magazin").orderBy("data") \
    .rowsBetween(-2, Window.currentRow)

df_analiza = df.withColumn("total_cumulativ", F.sum("incasari").over(w_cumulativ)) \
               .withColumn("medie_mobila_3zile", F.round(F.avg("incasari").over(w_mobil_3zile), 2))

df_analiza.show(10)

Comunitate & Schimb de cunoștințe

Întrebări & Exemple de Cod: Sume Cumulative și Ferestre Mobile cu rowsBetween

Ai o nelămurire despre utilizarea comenzii Sume Cumulative și Ferestre Mobile cu rowsBetween sau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!

💬

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.

Comunitate Adaugă o întrebare sau distribuie un cod

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.