kafka初步入门

2023-06-10 20:01:32 浏览数 (1)

kafka的依赖环境

  • Java
  • Zookeeper
  • Kafka

基本概念

  • Producer生产者
  • Consumer消费者
  • Broker服务代理节点
  • Topic主题(逻辑概念)
    • 物理概览是可追加的日志文件
  • Partition分区
    • 1个leader副本,多个followwer副本
  • 副本机制(AR = ISR OSR)
    • AR所有副本分区
    • ISR 同步副本分区
    • OSR滞后的多个副本
    • LEO(当前要写入的最新的一条消息)(和hw(当前可以消费的最大的水位)

旧版本的kafka整体,新版就没有zookeeper啦

kafka服务端的配置

  • zookeeper的地址
  • Listeners broker监听客户端的地址
  • broker.id 副本标识
  • log.dir和dirs 日志和持久化数据
  • message.max.byts最大消息的长度

0 人点赞