CKafka系列学习文章 - CKafka界面管理(四)

2019-11-12 10:46:08 浏览数 (1)

导语:在使用的过程中,我们总是需要根据自己公司的业务场景去调整服务端的参数配置和监控参数,接下来我们一起来看看如何配置。

一、基本信息

1. 接入方式

连接CKafka的实例要用接入方式中的IP和端口,先要添加路由策略:

路由类型有:基础网络、VPC网络、公网域名接入,两种接入方式:PLAINTEXT和SASL_PLAINTEXT

1) 基础网络

有PLAINTEXT和SASL_PLAINTEXT两种接入方式, SASL_PLAINTEXT为用户名认证鉴权。

2) VPC网络

有PLAINTEXT和SASL_PLAINTEXT两种接入方式, SASL_PLAINTEXT为用户名认证鉴权。

3) 公网域名接入

只有SASL_PLAINTEXT一种接入方式,为公网的用户名认证鉴权。

需要用JDK1.8的版本

2. 消息保留

消息保留范围在1分钟到90天

3. 自动创建Topic

如果您开启了自动创建 Topic,将会在服务器上启用主题的自动创建,使用或获取不存在的主题元数据时,将自动使用配置的副本数和分区数进行创建。您可以在【Topic 管理】中查看自动创建的 Topic。

创建前:

用生产者客户端,调用bowenqiu_topic2

Bowenqiu_topic2自动创建的成功了。

二、Topic管理

对bowenqiu_topic2进行参数编辑:

a) 分区数和副本数

这里需要规划好,因为我们购买的CKafka实例的topic上限是25个和分区数的上限是60个。(升级配置只能升峰值带宽和磁盘容量,如果topic和分区数后期不够用时,需要提工单进行扩容)

b) 白名单

开启白名单后,只有白名单里的IP可以访问开启白名单后,只有白名单里的IP可以访问

你应许那些云主机的IP访问这个topic,一行一个IP。

c) Cleanup.policy:日志清理策略

支持日志按保存时间删除,或者日志按 key 压缩(Kafka Connect 时需要使用 compact 模式)。

d) min.isync.replicas:

配置生产端 ACK

当 producer 向 leader 发送数据时,可以通过 request.required.acks 参数以及min.isync.replicas 设置数据可靠性的级别。

  • l当 acks = 1时(默认值),生产者在 ISR 中的 leader 已成功收到数据可以继续发送下一条数据。如果 leader 宕机,由于数据可能还未来得及同步给其 follower,则会丢失数据。
  • 当 acks = 0时,生产者不等待来自 broker 的确认就发送下一条消息。这种情况下数据传输效率最高,但数据可靠性确最低。
  • 当 acks = -1或者 all 时,生产者需要等待 ISR 中的所有 follower 都确认接收到消息后才能发送下一条消息,可靠性最高。

即使按照上述配置 ACK,也不能保证数据不丢,例如,当 ISR 中只有 leader 时(ISR 中的成员由于某些情况会增加也会减少,最少时只剩一个 leader),此时会变成 acks = 1的情况。所以需要同时在配合 min.isync.replicas 参数(此参数可以在消息队列 CKafka 控制台 Topic 配置开启高级配置中进行配置),min.insync.replicas 表示在 ISR 中最小副本的个数,默认值是1,当且仅当 acks = -1或者 all 时生效。

e) unclean.leader.election.enable

f) segment.ms

g) retention.ms

h) max.message.bytes

三、Consumer Group(消费组管理和消费组监控)

查看消费者详情:可以看到有一个消费者在消费信息

消费组监控

四、监控

包括实例、主题(Topic)、消费者组(Consumer Group)的监控

五、ACL策略管理

新增ACL策略:

六、用户管理

七、升配

八、配置告警

下一章将来了解下: CKafka通常会在那些场景下使用(五)

0 人点赞