[Kafka] 자주사용하는 Kafka 커맨드

1. __consumer_offsets 토픽에서 offset 정보 읽기

$ echo "exclude.internal.topics=false" > /tmp/consumer.config
$ kafka-console-consumer \
--consumer.config /tmp/consumer.config \
--formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" \
--bootstrap-server localhost:9092 \
--topic __consumer_offsets \
--from-beginning

2. 카프카 데이터 읽기(console-kafka-consumer)

: '
--topic: 토픽명
--bootstrap-server: 카프카 브로커
--consumer-property group.id: 컨슈머 그룹, 지정하지 않으면 랜덤으로 생성
--property print.timestamp=true : 메세지의 timestamp를 출력할지 말지
--from-beginning: offset의 맨 앞부터 읽음
'

$ kafka-console-consumer \
--topic 토픽명 \ 
--bootstrap-server localhost:9092  \
--consumer-property group.id=my_test_consumer \
--property print.timestamp=true \
--from-beginning