kafka常用操作

2018-10-03

下载Kafka

从Kafka官网下载最新的Kafka，目前我下载的版本为kafka_2.12-2.0.0.tgz

解压Kafka

1	$ tar -zxvf kafka_2.12-2.0.0.tgz

修改Zookeeper服务器配置

1 2	$ cd kafka_2.12-2.0.0 $ vi config/zookeeper.properties

通过以上命令打开zookeeper.properties 并进行相应配置：

#修改ZooKeeper的数据目录
dataDir=/usr/local/db/zookeeper 
#配置host.name和advertised.host.name为IP地址，防止通过Java客户端连接时解析为localhost
host.name=192.168.209.121 
advertised.host.name=192.168.209.121

启动Zookeeper服务器

1	$ ./zookeeper-server-start.sh /usr/local/kafka_2.12-2.0.0/config/zookeeper.properties

后台启动Zookeeper

1	$ ./zookeeper-server-start.sh -daemon /usr/local/kafka_2.12-2.0.0/config/zookeeper.properties

（或使用nohup方式）

1	$ nohup /bin/sh ./zookeeper-server-start.sh /usr/local/kafka_2.12-2.0.0/config/zookeeper.properties 2>&1 > /dev/null &

修改Kafka配置

1	$ vi config/server.properties

通过以上命令打开server.properties并进行相应配置：

1	log.dirs=/usr/local/kafka/kafka-logs

启动Kafka服务器

1	$ ./kafka-server-start.sh /usr/local/kafka_2.12-2.0.0/config/server.properties

后台启动Kafka

1	$ ./kafka-server-start.sh -daemon /usr/local/kafka_2.12-2.0.0/config/server.properties

（或使用nohup方式）

1	$ nohup /bin/sh ./kafka-server-start.sh /usr/local/kafka_2.12-2.0.0/config/server.properties 2>&1 > /dev/null &

命令创建topic

$ ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

命令查看创建的topic

$ ./kafka-topics.sh --list --zookeeper localhost:2181

命令使用生产者发送消息

$ ./kafka-console-producer.sh --broker-list localhost:9092 --topic test

命令使用消费者接收消息

(老版的将--bootstrap-server参数改为--zookeeper)
$ ./kafka-console-consumer.sh --bootstrap-server lochost:9092 --topic test --from-beginning

参考:
https://blog.csdn.net/l1028386804/article/details/78348367
https://www.jianshu.com/p/cf30c1492956