安装jdk略，zookeeper略 创建消息持久化目录 /mnt/hadoop/kafka/kafkaLogs 下载kafka wget http://www-eu.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz tar –zxvf kafka_2.11-0.10.2.1.tgz –C /mnt/Hadoop 修改配置 config/ vi server.properties broker.id=0 一个节点一个号，顺序排列 delete.topic.enable=true 设置true,否则只是标记删除
auto.create.topics.enable=false 关闭自动创建topic
listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://ip:9092 监听地址，kafka-0.9以后,舍弃advertised.host.name log.dirs=/mnt/hadoop/kafka/kafkaLogs 消息持久化目录 zookeeper.connect=ip:2181 调zk集群 scp –r /mnt/hadoop/kafka root@ip:/mnt/ hadoop/ 在其他节点上修改server.properties broker.id=1 数字依次排序 listeners=PLAINTEXT://0.0.0.0:9093
advertised.listeners=PLAINTEXT://ip:9093
开启kafka 进程名为kafka，在每个节点下运行
nohup bin/kafka-server-start.sh -daemon config/server.properties & 停止kafka bin/kafka-server-stop.sh kafka常用操作命令： 查看当前服务器中的所有topic
bin/kafka-topics.sh --list --zookeeper bigdata1:2181
创建topic ./kafka-topics.sh --create --zookeeper bigdata1:2181 --replication-factor 1 --partitions 3 --topic first
删除topic
sh bin/kafka-topics.sh --delete --zookeeper bigdata1:2181 --topic test 需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
通过shell命令发送消息
kafka-console-producer.sh --broker-list bigdata1:9092 --topic itheima 通过shell消费消息
sh bin/kafka-console-consumer.sh --zookeeper bigdata1:2181 --from-beginning --topic test1
查看消费位置 sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper bigdata1:2181 --group testGroup
查看某个Topic的详情
sh kafka-topics.sh --topic test --describe --zookeeper bigdata1:2181 单节点下的多个broker： 创建消息持久化目录 kafkaLogs-1 kafkaLogs-2 在config下复制 cp server.properties server-1.properties cp server.properties server-2.properties server-1.properties： listeners=PLAINTEXT://0.0.0.0:9093 advertised.listeners=PLAINTEXT://ip:9093 broker.id=0 log.dirs=/mnt/hadoop/kafka/kafkaLogs-1 server-2.properties： listeners=PLAINTEXT://0.0.0.0:9094 advertised.listeners=PLAINTEXT://ip:9094 broker.id=1 log.dirs=/mnt/hadoop/kafka/kafkaLogs-2 JMX_PORT=9997 /mnt/hadoop/kafka/bin/kafka-server-start.sh -daemon /mnt/hadoop/kafka/config/server-1.properties & JMX_PORT=9998 /mnt/hadoop/kafka/bin/kafka-server-start.sh -daemon /mnt/hadoop/kafka/config/server-2.properties &
