0854-7.1.6-如何在安全的CDP集群中安装SMM并使用

2021-07-05 15:27:49 浏览数 (1)

1.文档编写目的

本篇文章主要介绍如何在CDP7.1.6集群中配置SMM（Streams Messaging Manager）服务。它为Kafka集群提供了一个监控仪表板。在CDH6中安装该服务需要部署parcel包和安装节点软件包管理器，而在CDP7中则不需要上述操作，能够直接在CM界面中进行添加服务操作。

  • 文档概述 1. 如何在CDP7集群配置SMM服务 2. 验证 3. 总结
  • 测试环境 1. 操作系统Redhat7.2 2. CM7.3.1和CDP7.1.6 3. 使用root用户操作 4. 集群已集成Kerberos和Ranger 5. 集群已安装Kafka服务

2.安装前置准备

CM的Service Monitor服务与Kafka集成 1. 进入CM的管理配置界面

2.搜索Kafka配置并进行集成

3.调整Service monitor heap大小

因为在启用SM监控Kafka后，会有大量的监控数据需要分析，SM对Heap的使用会增大，因此需要调整该参数增大。

4.重启过时服务

5.过时服务重启完成

3.创建SMM数据库

1.进入MySQL服务

代码语言：javascript复制
[root@cdh1 ~]# mysql -uroot -p

2.执行如下SQL创建对应数据库

代码语言：javascript复制
drop user streamsmsgmgr;
create database streamsmsgmgr default character set utf8;
CREATE USER 'streamsmsgmgr'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON streamsmsgmgr. * TO 'streamsmsgmgr'@'%'; 
FLUSH PRIVILEGES;

4.安装SMM服务

1.进入CM界面选择添加服务

2.分配角色，选择安装节点

3.配置数据库连接并测试

4.等待服务启动

5.服务启动完成

至此SMM服务安装完成，接下来在客户端访问WEB界面，确认服务是否正常监控Kafka服务。

5.访问DAS认证配置

5.1kerberos认证方式

1.在Kerberos官网下载安装包，地址如下

代码语言：javascript复制
http://web.mit.edu/kerberos/dist/

2.根据系统选择了64位安装包，按照步骤进行安装

选择Typical

3.配置C:ProgramDataMITKerberos5krb5.int文件

4.将节点中/etc/krb5.conf配置文件中的部分内容拷贝到该文件中

代码语言：javascript复制
[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = h
 renew_lifetime = d
 forwardable = true
 rdns = false
 pkinit_anchors = /etc/pki/tls/certs/ca-bundle.crt
 default_realm = MACRO.COM
# default_ccache_name = KEYRING:persistent:%{uid}

[realms]
 MACRO.COM = {
  kdc = cdh1.macro.com
  admin_server = cdh1.macro.com
  kdc = cdh2.macro.com
  admin_server = cdh2.macro.com
 }

[domain_realm]
 .cdh1.macro.com = MACRO.COM
 cdh1.macro.com = MACRO.COM

5.在KDC server创建一个用户

代码语言：javascript复制
[root@cdh1 ~]# kadmin.local
kadmin.local:  addprinc test_krb

6.进入Windows下更改hosts

代码语言：javascript复制
C:WindowsSystem32driversetc

7.启动MIT客户端，连接Get Ticket

8.销毁获取的Ticket

9.进入系统环境变量中，如果也安装了oracle JDK，就需要将PATH中的MIT的位置上移

10.命令行下初始化之后，在MIT客户端就可以看到初始化成功的Ticket

11.命令行下执行kdestroy，MIT客户端也就没有了

12.在KDC server上生成keytab文件，使用测试账号

代码语言：javascript复制
[root@cdh1 ~]# kadmin.local
kadmin.local:   xst -norandkey -k test_krb1.keytab test_krb1@MACRO.COM

13.测试keytab文件

代码语言：javascript复制
[root@cdh1 ~]# kadmin.local
kadmin.local:   xst -norandkey -k test_krb1.keytab test_krb1@MACRO.COM

14.将生成的keytab文件拷贝到本地Windows，进行测试，并在客户端查看

5.2 配置浏览器Kerberos认证

打开火狐浏览器，在地址输入about:config,修改配置

代码语言：javascript复制
network.negotiate-auth.trusted-uris = cdh1.macro.com,cdh2.macro.com,cdh3.macro.com
network.auth.use-sspi = false

5.3 访问SMM Web UI

1.在KDC Server上生成Keytab文件，使用对应账号进行测试

代码语言：javascript复制
[root@cdh1 ~]# kadmin.local 
kadmin.local:  xst -norandkey -k streamsmsgmgr.keytab streamsmsgmgr@MACRO.COM

2.将keytab文件拷贝到Windows目录下，进行kinit操作，并看到MIT终端有了Ticket

3.重启过时服务后就可以正常访问SMM的Web UI

4.访问SMM Rest Swagger UI

6.总结

1.Kafka的监控指标主要是通过Cloudera的Service Monitor服务来采集，因此需要配置与Kafka服务的集成。 2.CDP集群启用了Kerberos，用户通过浏览器访问SMM的WEB界面时，需要在客户端安装kerberos客户并配置浏览器与Kerberos集成。

kafka kerberos windows 腾讯云测试服务

0 人点赞