Metoda spark.read.csv() asigură ingestia paralelă a seturilor mari de fișiere CSV stocate local sau pe sisteme distribuite de fișiere (HDFS, Amazon S3, Google Cloud Storage, Azure Blob). Spark poate procesa zeci de mii de fișiere CSV simultan prin împărțirea sarcinilor între executorii din cluster.
Pentru seturi masive de producție, se recomandă furnizarea unei scheme explicite (StructType) în locul opțiunii inferSchema=True, evitând astfel scanarea preliminară suplimentară a întregului set de fișiere.
Exemplu: Citirea unui fișier CSV cu schemă strict definită
from pyspark.sql.types import StructType, StructField, IntegerType, StringType, DoubleType
schema = StructType([
StructField("id", IntegerType(), nullable=False),
StructField("nume_client", StringType(), nullable=True),
StructField("suma_tranzactie", DoubleType(), nullable=True)
])
df = spark.read \
.option("header", "true") \
.option("sep", ",") \
.schema(schema) \
.csv("s3a://data-lake/tranzactii/*.csv")
df.printSchema()
Întrebări & Exemple de Cod:
Citirea Fișierelor CSV Distribuite cu spark.read.csvAi o nelămurire despre utilizarea comenzii
Citirea Fișierelor CSV Distribuite cu spark.read.csvsau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.