spark.read.json() permite încărcarea colecțiilor mari de evenimente semi-structurate (ex. loguri web, payload-uri de evenimente IoT sau răspunsuri API). Spark scanează fișierele și construiește o schemă unificată, transformând obiectele imbricate în structuri StructType și listele în ArrayType.
În mod nativ, Spark așteaptă fișiere în format JSON Lines (câte un obiect JSON complet pe fiecare linie). Dacă fișierul conține un array JSON pe mai multe rânduri, se activează parametrul multiLine=True.
Exemplu: Încărcarea logurilor de acces JSON și interogarea câmpurilor imbricate
df_logs = spark.read.json("date_evenimente.json")
# Accesarea câmpurilor dintr-o structură imbricată folosind notația cu punct:
df_logs.select(
"timestamp",
"utilizator.id",
"utilizator.email",
"dispozitiv.ip"
).show(5, truncate=False)
Întrebări & Exemple de Cod:
Ingestia Datelor Semi-structurate cu spark.read.jsonAi o nelămurire despre utilizarea comenzii
Ingestia Datelor Semi-structurate cu spark.read.jsonsau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.