Spark UI este interfața web integrată lansată automat pe portul 4040 al nodului driver în timpul rulării oricărei aplicații Spark. Oferă vizibilitate profundă în fiecare etapă de execuție:
- Jobs & Stages: Afișează graful direcționat aciclic (DAG) și timpul petrecut în fiecare transformare.
- Tasks & Event Timeline: Identifică instantaneu taskurile lente („stragglers”) cauzate de dezechilibrul de distribuție a datelor (Data Skew).
- Storage: Arată DataFrame-urile salvate în memorie prin
cache()și procentul de RAM ocupat. - SQL / Dataframe Tab: Prezintă planul logic detaliat și planul fizic optimizat generat de Catalyst.
Exemplu: Accesarea interfeței și configurarea jurnalului de evenimente pentru History Server
# Activarea jurnalizării evenimentelor pentru vizualizare post-execuție în History Server:
spark = SparkSession.builder \
.appName("JobCuMonitorizare") \
.config("spark.eventLog.enabled", "true") \
.config("spark.eventLog.dir", "hdfs:///var/log/spark/apps") \
.getOrCreate()
# Interfața live poate fi accesată în browser la:
# http://:4040
Întrebări & Exemple de Cod:
Monitorizarea Execuției cu Spark UI și History ServerAi o nelămurire despre utilizarea comenzii
Monitorizarea Execuției cu Spark UI și History Serversau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.