Anatomia Internă a Apache Kafka: Topics, Partitions, Commit Log și Managementul Offset-urilor în Apache Kafka

Ghid tehnic pentru arhitectura internă Kafka: cum sunt stocate fizic datele pe disc în fișiere .log și .index, calculul cheii de partiționare (hash) și comiterea offset-urilor în __consumer_offsets.

Sintaxă
kafka-topics.sh --describe --topic orders --bootstrap-server localhost:9092

Fiecare Topic în Kafka este împărțit în una sau mai multe Partiții. Partiția este unitatea atomică de paralelism și scalabilitate: mesajele dintr-o partiție sunt garantat strict ordonate prin numere secvențiale unice numite Offsets.