Comenzile pyspark (pentru Python) și spark-shell (pentru Scala) lansează o sesiune interactivă REPL (Read-Eval-Print Loop) direct în terminal, pre-inițializând automat variabilele globale spark (SparkSession) și sc (SparkContext).
Este instrumentul preferat pentru explorarea ad-hoc a fișierelor masive din data lake și verificarea schemelor înainte de scrierea scripturilor finale.
Exemplu: Pornirea consolei PySpark cu suport pentru Delta Lake
# Pornirea consolei PySpark cu pachete Maven externe incluse:
pyspark --packages io.delta:delta-spark_2.12:3.1.0 \
--conf "spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension" \
--conf "spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog"
# În terminalul interactiv apărut:
>>> df = spark.read.format("delta").load("/mnt/date/clienti")
>>> df.show(5)
Întrebări & Exemple de Cod:
Consola Interactivă REPL: pyspark și spark-shellAi o nelămurire despre utilizarea comenzii
Consola Interactivă REPL: pyspark și spark-shellsau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.