最近有跟视频云对接,用到 Kafka 消息队列,发现公司使用了安全认证机制 SASL/SCRAM,所以研究一下这方面的内容。(以前公司好像没有使用安全认证)
kafka 提供了多种安全认证机制,主要分为 SSL 和 SASL 两大类。
SASL 主要由以下几种方式:
- SASL/GSSAPI (Kerberos) - starting at version 0.9.0.0
- SASL/PLAIN - starting at version 0.10.0.0
- SASL/SCRAM-SHA-256 and SASL/SCRAM-SHA-512 - starting at version 0.10.2.0
- SASL/OAUTHBEARER - starting at version 2.0
几种方式具体的实现方法可以看看中文文档,里面有详细的介绍,本次主要介绍 SASL/SCRAM 认证。
SASL/SCRAM验证可以动态新增用户并分配权限。
前期准备
本次主要是在 windows 进行验证测试。
apache-zookeeper-3.7.0
kafka-2.3.0
首先启动 zookeeper 和 kafka
代码语言:javascript复制###### 启动 zookeeper
D:work-softtoolapache-zookeeper-3.7.0-binbin>zkServer.cmd
###### 启动 kafka
D:work-softtoolkafka>binwindowskafka-server-start.bat configserver.properties
创建SCRAM证书
代码语言:javascript复制binwindowskafka-configs.bat --zookeeper localhost:2181 --alter --add-config SCRAM-SHA-256=[iterations=8192,password=alice-secret],SCRAM-SHA-512=[password=alice-secret] --entity-type users --entity-name alice
binwindowskafka-configs.bat --zookeeper 127.0.0.1:2181 --alter --add-config SCRAM-SHA-256=[password=admin-sec],SCRAM-SHA-512=[password=admin-sec] --entity-type users --entity-name admin
创建 SCRAM 证书时如果出现
requirement failed: Unknown Dynamic Configuration: Set('SCRAM-SHA-256).
报错,可能是因为 --add-config 后面的参数加了单引号 '',去掉'' 重新执行就OK了。 详情可以查看:https://github.com/confluentinc/confluent-kafka-dotnet/issues/741
查看证书:
代码语言:javascript复制binwindowskafka-configs.bat --zookeeper localhost:2181 --describe --entity-type users --entity-name alice
删除证书:
代码语言:javascript复制binwindowskafka-configs.bat --zookeeper localhost:2181 --alter --delete-config SCRAM-SHA-512 --delete-config SCRAM-SHA-256 --entity-type users --entity-name alice
服务端配置
在 kafka 配置文件目录 config 创建文件 kafka-server-jass.conf,如我的目录是:D:work-softtoolkafkaconfig
文件内容为:
代码语言:javascript复制KafkaServer {
org.apache.kafka.common.security.scram.ScramLoginModule required
username="admin"
password="admin-sec";
};
然后在zookeeper, kafka和consumer、producer 的启动脚本中添加如下脚本:
kafka-server-start.bat :
代码语言:javascript复制set KAFKA_OPTS=-Djava.security.auth.login.config=D:work-softtoolkafkaconfigkafka-server-jass.conf
zookeeper 的添加方式是在 zkServer.cmd 里面添加:
代码语言:javascript复制"-Djava.security.auth.login.config=D:work-softtoolkafkaconfigkafka-server-jass.conf"
最后在 kafka 配置文件 server.properties 里添加:
代码语言:javascript复制listeners=SASL_PLAINTEXT://localhost:9020
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
sasl.enabled.mechanisms=SCRAM-SHA-256
完成以上操作后重启 Zookeeper 和 Kafka。
重启后发现在无认证的情况下无法直接连接上 kafka,需要配置相关内容。
代码语言:javascript复制security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="admin" password="admin-sec";
Java application.yml 的配置方式:
代码语言:javascript复制spring:
kafka:
bootstrap-servers: localhost:9020
producer:
properties:
sasl.mechanism: SCRAM-SHA-256
security.protocol: SASL_PLAINTEXT
sasl.jaas.config: org.apache.kafka.common.security.scram.ScramLoginModule required username="admin" password="admin-sec";
配置完成重新启动应用,发送消息:
使用 Offset Explorer 查看:
End.
Copyright: 采用 知识共享署名4.0 国际许可协议进行许可 Links: https://lixj.fun/archives/kafka的安全认证机制-saslscram验证