enable.auto.commit în Consumatorul Kafka în Apache Kafka

De ce se recomandă setarea pe false în sisteme critice

Când enable.auto.commit=true, clientul Kafka salvează offset-ul la fiecare interval de timp (ex: 5 secunde prin auto.commit.interval.ms), indiferent dacă procesarea mesajelor din bucla aplicației a reușit sau a eșuat. Dacă aplicația suferă un crash în timpul procesării unui lot, offset-ul poate fi deja salvat pe broker, provocând pierderea datelor. Setând această valoare pe false, aplicația decide exact când salvează offset-ul prin commitSync() sau commitAsync().

props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Collections.singletonList("comenzi"));

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        proceseazaComanda(record.value());
    }
    consumer.commitSync(); // Salvare sigură după finalizarea procesării
}