0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用

2022-08-26 17:49:36 浏览数 (1)

1.文档编写目的

在CDP集群中启用了Kerberos认证,那么Kafka集群能否与Kerberos认证服务集成呢?本文主要讲述如何通过Cloudera Manager为Kafka集群启用Kerberos认证及客户端配置使用。

  • 内容概述

1.修改Kafka配置

2.配置客户端

3.客户端测试Producer和Consumer

  • 测试环境

1.RedHat7.6

2.CM版本7.3.1和CDP版本7.1.4

3.采用root用户

4.Kafka2.4.1

2.修改Kafka配置

1.登录Cloudera Manager进入Kafka服务,修改ssl.client.auth配置为none

2.Kafka启用Kerberos

3.修改security.inter.broker.protocol配置为SASL_PLAINTEXT

4.保存以上修改的配置后,回到主页根据提示重启Kafka Server

完成以上配置就可以为Kafka集群启用Kerberos认证。

3.配置客户端

1.创建jaas.conf文件

如果你先使用kinit初始化Kerberos账号,则jaas.conf配置文件内容如下:

代码语言:javascript复制
1KafkaClient {
2    com.sun.security.auth.module.Krb5LoginModule required
3    useTicketCache=true;
4};

如果使用keytab文件初始化Kerberos账号,则jaas-keytab.conf配置文件内容如下:

代码语言:javascript复制
1KafkaClient {
2   com.sun.security.auth.module.Krb5LoginModule required
3   useKeyTab=true
4   keyTab="/root/fayson.keytab"
5   principal="fayson@MACRO.COM";
6};

2.创建client.properties文件,内容如下

代码语言:javascript复制
1security.protocol=SASL_PLAINTEXT
2sasl.kerberos.service.name=kafka

4.客户端测试Producer和Consumer及简单使用

1.设置KAFKA_OPTS环境变量

代码语言:javascript复制
1export KAFKA_OPTS="-Djava.security.auth.login.config=/root/jaas.conf"

或者

代码语言:javascript复制
1export KAFKA_OPTS="-Djava.security.auth.login.config=/root/jaas-keytab.conf"

如果使用jaas.conf文件设置环境变量则需要先使用kinit初始化Kerberos账号。

2.创建Topic

代码语言:javascript复制
1kafka-topics --create --partitions 3 --replication-factor 1 --topic test3 --bootstrap-server 192.168.0.55:9092,192.168.0.165:9092,192.168.0.165:9092 --command-config client.properties

3.查看所有Topic

代码语言:javascript复制
1kafka-topics --list --bootstrap-server 192.168.0.55:9092  --command-config client.properties

4.查看Topic描述信息

代码语言:javascript复制
1kafka-topics --describe --topic test3 --bootstrap-server 192.168.0.55:9092  --command-config client.properties

5.修改Topic分区数

代码语言:javascript复制
1kafka-topics --bootstrap-server 192.168.0.55:9092 -alter --partitions 4 --topic test3 --command-config client.properties

6.运行Kafka的Producer

代码语言:javascript复制
1kafka-console-producer --broker-list 192.168.0.55:9092 --topic test3 --producer.config client.properties
2...
3hello
4world

7.运行Kafka的Consumer

代码语言:javascript复制
1export KAFKA_OPTS="-Djava.security.auth.login.config=/root/jaas.conf"
2kafka-console-consumer --topic tes3 --from-beginning --bootstrap-server 192.168.0.55:9092,192.168.0.165:9092,192.168.0.165:9092 --consumer.config client.properties
3...
4hello
5world

8.删除Topic

代码语言:javascript复制
1kafka-topics --delete --topic test3 --bootstrap-server 192.168.0.55:9092,192.168.0.165:9092,192.168.0.165:9092 --command-config client.properties

删除成功

参考文档:

代码语言:javascript复制
https://docs.cloudera.com/cdp-private-cloud-base/7.1.7/kafka-securing/topics/kafka-secure-kerberos-enable.html

0 人点赞