Conectarea Distribuită la Baze Relaționale cu spark.read.jdbc în Apache Spark & PySpark

spark.read.jdbc() și df.write.jdbc() permit interconectarea clusterului Spark cu motoare RDBMS clasice. Pentru tabele de mari dimensiuni, Spark poate partiționa citirea prin lansarea simultană a mai multor conexiuni JDBC paralele bazate pe o coloană numerică indexată (ex. cheia primară id).

Această tehnică distribuie sarcina de citire direct între nodurile de lucru fără a suprasolicita un singur fir de execuție.

jdbc_url = "jdbc:postgresql://db.dexblog.ro:5432/productie"
props = {
    "user": "analyst",
    "password": "secret_password",
    "driver": "org.postgresql.Driver"
}

df_comenzi = spark.read.jdbc(
    url=jdbc_url,
    table="comenzi",
    column="id",
    lowerBound=1,
    upperBound=1000000,
    numPartitions=4,
    properties=props
)

print(f"Număr partiții create: {df_comenzi.rdd.getNumPartitions()}")