dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
SPARK Toate comenzile Apache Spark & PySpark

Lansarea Aplicațiilor pe Cluster cu spark-submit CLI în Apache Spark & PySpark

cli Apache Spark 3.5 / CLI Q&A / Distribuie cod

Comanda oficială CLI pentru transmiterea și orchestrarea scripturilor Spark pe clustere de producție.

Sintaxă 
spark-submit --master [yarn|k8s://...|local] --deploy-mode [cluster|client] app.py

spark-submit este utilitarul standard în linie de comandă utilizat pentru a trimite o aplicație Spark spre execuție pe un manager de resurse distribuit (Kubernetes, Hadoop YARN, Apache Mesos sau Spark Standalone).

Prin argumentele de linie de comandă, inginerul de sistem alocă resursele hardware: numărul de executori, nucleele CPU (--executor-cores), memoria RAM (--executor-memory) și pachetele de extensie Maven/JAR (ex. conectori Kafka sau AWS S3).

Exemplu: Lansarea unui job PySpark de producție pe cluster Kubernetes
spark-submit \
    --master k8s://https://10.0.0.1:6443 \
    --deploy-mode cluster \
    --name IngestieZilnica \
    --num-executors 10 \
    --executor-cores 4 \
    --executor-memory 8g \
    --driver-memory 4g \
    --packages io.delta:delta-spark_2.12:3.1.0 \
    --conf spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension \
    s3a://cod-productie/pipeline_etl.py --data 2026-10-30

Comunitate & Schimb de cunoștințe

Întrebări & Exemple de Cod: Lansarea Aplicațiilor pe Cluster cu spark-submit CLI

Ai o nelămurire despre utilizarea comenzii Lansarea Aplicațiilor pe Cluster cu spark-submit CLI sau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!

💬

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.

Comunitate Adaugă o întrebare sau distribuie un cod

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.