Arhitectura Medallion (popularizată de Databricks) organizează datele în trei niveluri calitative succesive: Bronze (date brute nemodificate din Kafka/S3), Silver (date curățate, validate și deduplicate) și Gold (modele agregate gata pentru rapoarte de business și BI).
Ingestie și Streaming de Date cu Spark Structured Streaming: Integrare cu Apache Kafka și Arhitectura Medallion pe Delta Lake în Apache Spark & PySpark
Structured Streaming & Delta Lake
Spark 3.5
Ghid enterprise pentru arhitecturi moderne Lakehouse: citirea fluxurilor de date din Apache Kafka, scrierea tranzacțională în format Delta Lake și implementarea straturilor Medallion (Bronze, Silver, Gold).
Sintaxă
df.writeStream.format('delta').outputMode('append').start('/lakehouse/bronze')