Spre deosebire de vechile RDD-uri (Resilient Distributed Datasets) pe care Spark le trata ca pe niște „cutii negre” de obiecte Java/Python, DataFrames oferă o schemă explicită. Acest lucru permite optimizatorului Catalyst să inspecteze interogarea și să reorganizeze operațiunile pentru eficiență maximă înainte de execuție.
Arhitectura Internă Apache Spark: De la RDD-uri la DataFrames, Planuri Logice și Optimizatorul Catalyst în Apache Spark & PySpark
Arhitectură & Catalyst
Spark 3.5
Ghid tehnic pentru arhitectura Spark: cum compilează Catalyst planul logic nesoluționat în plan fizic optimizat, generarea de cod pe întreg stadiul (Tungsten) și de ce DataFrames bat RDD-urile.
Sintaxă
df.explain(extended=True)