apache-kafka
카프카 콘솔 도구

소개

카프카 - 토픽

이 도구를 사용하여 주제를 나열, 작성, 변경 및 설명 할 수 있습니다.

주제 목록 :

kafka-topics  --zookeeper localhost:2181 --list

주제 만들기 :

kafka-topics  --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

하나의 파티션과 복제가없는 주제를 만듭니다.

주제 설명 :

kafka-topics  --zookeeper localhost:2181 --describe --topic test

주제 변경 :

# change configuration
kafka-topics  --zookeeper localhost:2181 --alter --topic test --config max.message.bytes=128000
# add a partition
kafka-topics  --zookeeper localhost:2181 --alter --topic test --partitions 2

(주의 : Kafka는 주제의 파티션 수를 줄이는 것을 지원하지 않습니다.) ( 이 구성 등록 정보 목록 참조)

kafka-console-producer

이 도구를 사용하면 명령 줄에서 메시지를 생성 할 수 있습니다.

간단한 문자열 메시지를 주제에 보냅니다.

kafka-console-producer --broker-list localhost:9092 --topic test
here is a message
here is another message
^D

(각 줄은 새 메시지입니다. 중지하려면 Ctrl + D 또는 Ctrl + C를 입력하십시오)

키가있는 메시지 보내기 :

kafka-console-producer --broker-list localhost:9092 --topic test-topic \
        --property parse.key=true \
        --property key.separator=,
key 1, message 1
key 2, message 2
null, message 3
^D

파일에서 메시지 보내기 :

kafka-console-producer --broker-list localhost:9092 --topic test_topic < file.log

kafka-console-consumer

이 도구는 주제의 메시지를 사용합니다.

이전 소비자 구현을 사용하려면 --bootstrap-server 를 --zookeeper 로 --zookeeper .

간단한 메시지 표시 :

kafka-console-consumer --bootstrap-server localhost:9092 --topic test 

오래된 메시지를 소비하십시오 :

이전 메시지를 보려면 --from-beginning 옵션을 사용할 수 있습니다.

키 - 값 메시지 표시 :

kafka-console-consumer  --bootstrap-server localhost:9092 --topic test-topic \
    --property print.key=true \
    --property key.separator=, 

카프카 - 심플 - 소비자 - 쉘

이 소비자는 특정 파티션, 오프셋 및 복제본의 메시지를 소비 할 수있는 저수준 도구입니다.

유용한 매개 변수 :

• parition : 소비 할 특정 파티션 (기본값은 모두)
• offset : 개시 오프셋 (offset). 처음부터 메시지를 소비하려면 -2 를 사용하고 끝에서 소비하려면 -1 을 사용하십시오.
• max-messages : 인쇄 할 메시지 수
• replica : 복제본, 브로커 리더의 기본값 (-1)

예 :

kafka-simple-consumer-shell  \
    --broker-list localhost:9092 \
    --partition 1 \
    --offset 4 \
    --max-messages 3 \
    --topic test-topic

topic test-topic의 오프셋 4에서 시작하여 파티션 1의 메시지 3 개를 표시합니다.

카프카 - 소비자 단체

이 도구를 사용하여 소비자 그룹을 나열, 설명 또는 삭제할 수 있습니다. 소비자 그룹에 대한 자세한 내용은 이 기사 를 참조하십시오.

이전 소비자 구현을 계속 사용하는 경우 --bootstrap-server 를 --zookeeper 로 --zookeeper .

소비자 그룹 나열 :

kafka-consumer-groups  --bootstrap-server localhost:9092 --list
octopus

소비자 그룹 설명 :

kafka-consumer-groups  --bootstrap-server localhost:9092 --describe --group octopus
GROUP          TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG       OWNER
octopus        test-topic      0          15              15              0         octopus-1/127.0.0.1
octopus        test-topic      1          14              15              1         octopus-2_/127.0.0.1

비고 : 위의 출력에서,

• current-offset 은 소비자 인스턴스의 마지막 커밋 된 오프셋이며,
• log-end-offset 은 파티션의 최대 오프셋입니다 (따라서이 열을 합하면 주제에 대한 총 메시지 수가 제공됩니다)
• lag 는 현재의 소비자 오프셋과 가장 높은 오프셋 사이의 차이이며, 따라서 소비자가 얼마나 뒤떨어져 있는지,
• owner 는 소비자의 client.id 입니다 (지정되지 않은 경우 기본값이 표시됨).

소비자 그룹 삭제 :

삭제는 그룹 메타 데이터가 사육사 (이전 소비자 API)에 저장된 경우에만 사용할 수 있습니다. 새로운 소비자 API를 사용하면 브로커가 메타 데이터 삭제를 포함한 모든 작업을 처리합니다. 그룹의 마지막 커밋 된 오프셋이 만료되면 그룹이 자동으로 삭제됩니다.

kafka-consumer-groups --bootstrap-server localhost:9092 --delete --group octopus