În Spark, transformările sunt leneșe (Lazy): apelarea metodelor filter() sau select() nu declanșează niciun calcul pe nodurile clusterului; ele doar adaugă un pas în graful direcționat aciclic (DAG). Execuția fizică începe doar atunci când este apelată o Acțiune (precum collect(), count() sau write()).
Procesare de Date cu PySpark: Transformări (map, filter, join), Acțiuni (collect, count) și Evaluare Leneșă (Lazy Evaluation) în Apache Spark & PySpark
PySpark & Operațiuni
PySpark
Ghid complet pentru programarea în PySpark: diferențele între transformări înguste (narrow) și largi (wide transformations ce declanșează shuffle), evaluarea leneșă și acțiuni de execuție.
Sintaxă
df.filter(col('age') > 25).groupBy('country').count()