Kafka Connect este un framework scalabil și tolerant la erori pentru fluxul masiv de date între Apache Kafka și alte sisteme de stocare (baze de date relaționale, Elasticsearch, Amazon S3, MongoDB). În loc să scrieți consumatori sau producători manuali, conectorii gata de utilizare gestionează automat offset-urile, serializarea și paralelizarea pe task-uri.
Configurarea unui conector PostgreSQL Source CDC (Debezium) prin REST API
POST /connectors HTTP/1.1
Host: localhost:8083
Content-Type: application/json
{
"name": "postgres-comenzi-source",
"config": {
"connector.class": "io.debezium.connector.postgresql.PostgresConnector",
"tasks.max": "1",
"database.hostname": "postgres.internal",
"database.port": "5432",
"database.user": "debezium",
"database.password": "parola_secreta",
"database.dbname": "magazin_db",
"database.server.name": "pg_cluster",
"table.include.list": "public.comenzi",
"plugin.name": "pgoutput"
}
}| Tip Conector | Direcție Flux | Exemple comune |
|---|---|---|
| Source Connector | Sistem Extern → Apache Kafka | Debezium CDC (Postgres/MySQL), JDBC Source, Salesforce, MQTT |
| Sink Connector | Apache Kafka → Sistem Extern | Elasticsearch Sink, Snowflake Sink, AWS S3 Object Sink, Redis Sink |