kafka的依赖环境
- Java
- Zookeeper
- Kafka
基本概念
- Producer生产者
- Consumer消费者
- Broker服务代理节点
- Topic主题(逻辑概念)
- 物理概览是可追加的日志文件
- Partition分区
- 1个leader副本,多个followwer副本
- 副本机制(AR = ISR OSR)
- AR所有副本分区
- ISR 同步副本分区
- OSR滞后的多个副本
- LEO(当前要写入的最新的一条消息)(和hw(当前可以消费的最大的水位)
旧版本的kafka整体,新版就没有zookeeper啦
kafka服务端的配置
- zookeeper的地址
- Listeners broker监听客户端的地址
- broker.id 副本标识
- log.dir和dirs 日志和持久化数据
- message.max.byts最大消息的长度