Tradițional, păstrarea a luni de date istorice în Kafka necesita discuri NVMe/SSD extrem de scumpe montate direct pe fiecare broker. Tiered Storage împarte stocarea în două niveluri:
- Local Tier: Ultimele câteva ore sau zile de date sunt ținute pe SSD-uri locale rapide pentru consumatorii în timp real.
- Remote Tier: Segmentele arhivate sunt încărcate automat în stocare de obiecte ieftină și infinită (cum ar fi Amazon S3, Google Cloud Storage sau Azure Blob Storage).
Activarea Tiered Storage pe un topic de audit
bin/kafka-topics.sh --bootstrap-server localhost:9092 \
--create --topic jurnal-audit-financiar \
--partitions 12 \
--replication-factor 3 \
--config remote.storage.enable=true \
--config local.retention.bytes=10737418240 \ # Păstrează maxim 10GB local pe broker
--config retention.ms=31536000000 # Păstrează datele 1 an întreg în S3
Întrebări & Exemple de Cod:
Stocare Ierarhică în Kafka: Tiered Storage și Decuplarea Calculului de DiscAi o nelămurire despre utilizarea comenzii
Stocare Ierarhică în Kafka: Tiered Storage și Decuplarea Calculului de Discsau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.