Kakfa运维 - 常用命令

切换到kafka目录

• cd ~/kafka

启动和停止Kafka服务

• 启动Kafka服务：bin/kafka-server-start.sh config/server.properties
• 停止Kafka服务：bin/kafka-server-stop.sh
• 进程守护模式启动：nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &
• 后台启动Kafka服务：bin/kafka-server-start.sh -daemon config/server.properties

主题管理

• 创建一个主题：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic my-topic
• 查看所有主题：bin/kafka-topics.sh --list --zookeeper localhost:2181
• 查看某个主题的详细信息：bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-topic

生产者和消费者

• 启动一个生产者：bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-topic
• 启动一个消费者：bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --from-beginning

消费者组管理

• 查看消费者组的信息：bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
• 查看某个消费者组的消费情况：bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group

消息生产和消费

• 生产消息到指定主题：bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-topic
• 消费指定主题的最新消息：bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --from-latest
• 消费指定主题的最早消息：bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --from-beginning

消息查看和删除

• 查看指定主题的消息：bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --partition 0 --offset 0 --max-messages 10
• 删除指定主题的消息：bin/kafka-delete-records.sh --bootstrap-server localhost:9092 --topic my-topic --offset-json-file delete.json

分区和副本管理

• 查看指定主题的分区信息：bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-topic
• 增加主题的分区数：bin/kafka-topics.sh --alter --zookeeper localhost:2181 --topic my-topic --partitions 3
• 查看指定主题的副本分配情况：bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --topics-to-move-json-file topics-to-move.json --broker-list "1,2,3" --generate