文档编写目的
默认情况下, CentOS和RedHat5.5或更高的版本中,对Kerberos 票证使用AES-256加密,因此必须在集群所有节点的JDK中安装Java Cryptography Extension(JCE)无限制强度加密策略文件。在安装JCE文件的Kerberos集群中,服务启动时会报“java.security.InvalidKeyException: Illegal key size”异常。本篇文章Fayson主要介绍使用不同方式安装JCE加密策略文件以及如何禁用Kerberos的AES-256加密。
注意:使用JDK 1.8.0_161或更高版本时,不需要再安装JCE Policy File。JDK 1.8.0_161默认启用无限强度加密。
- 测试环境:
1.Redhat7.2
2.采用root用户操作
3.CM/CDH6.2.0
手动安装JCE Policy File
1.确认当前CDH集群使用的JDK路径
可以使用“ps -ef”命令查看启动的java服务使用的JDK版本的路径
代码语言:javascript复制[root@cdh01 ~]# ps -ef |grep java
从截图中可以看到当前使用的JDK路径为/usr/java/jdk1.8.0_181-cloudera
也可以进入CM主页→主机→主机配置,通过搜索java查看集群配置的JDK目录,如果未配置则说明集群使用CM自带的JDK版本。
2.在Oracle官网下载JCE安装包,地址如下
代码语言:javascript复制http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.html
3.将下载的jce_policy-8.zip文件上传集群的任意节点并解压
代码语言:javascript复制[root@cdh01 ~]# unzip jce_policy-8.zip
4.把UnlimitedJCEPolicyJDK8目录下的所有jar包拷贝至集群所有节点的${JAVA_HOME}/jre/lib/security目录下
代码语言:javascript复制[root@cdh01 UnlimitedJCEPolicyJDK8]# cp *.jar /usr/java/jdk1.8.0_181-cloudera/jre/lib/security
代码语言:javascript复制[root@cdh01 UnlimitedJCEPolicyJDK8]# scp *.jar cdh02.hadoop.com:/usr/java/jdk1.8.0_181-cloudera/jre/lib/security
[root@cdh01 UnlimitedJCEPolicyJDK8]# scp *.jar cdh03.hadoop.com:/usr/java/jdk1.8.0_181-cloudera/jre/lib/security
至此完成集群所有节点JDK的JCE加密策略文件。
使用CM安装JCE Policy File
1.登陆CM,在浏览器输入http://192.168.0.204:7180/cmf/upgrade-wizard/wizard进入升级界面
输入与当前集群CM版本匹配的私有源地址
2.完成CM私有源配置后,点击“继续”,勾选安装JDK和Java无限制强度界面策略文件
3.点击“继续”,一直继续直到提示完成升级
如上图所示,通过Cloudera Manager引导界面的方式安装JCE加密策略文件就完成了。
4.由于通过CM安装JCE是需要勾选了安装JDK才能复选JCE安装。这里我们把当前安装的Oracle JDK迁移到Open JDK,再通过CM安装JCE来验证JCE是安装到了我自定义的Open JDK中还是安装到了Oracle JDK中。
现在把Oracle JDK迁移到Open JDK,过程省略。迁移后如下图
将集群所有节点的OpenJDK安装目录jre/lib/security下,可以看到JCE安装包都存在,手动把所有节点上的JCE安装包删除。
所有节点的Open JDK的security目录下的JCE安装包删除后如下图
同时也删除/usr/java/jdk1.8.0_181-cloudera/jre/lib/security目录下的JCE策略文件,是CM安装Oracle JDK的默认目录,删除后如下图
再次通过CM的引导界面安装JDK的JCE策略文件,安装完成后,发现Oracle JDK和Open JDK的${JAVA_HOME}/jre/lib/security目录下都没有JCE的策略文件,因为这两个版本的JDK都是默认启用JCE加密的。
这里我继续创建了一个Kerberos账号ace1,可以看到是用的AES-256加密,且集群的服务是可以正常运行。
5.上面的验证并没有将JCE策略文件安装到我们预想的目录下,接着在CDH5.16.2环境下再次测试
删除集群所有节点JDK里面的JCE策略文件,删除后重启CMS出现异常“Cannot locate policy or framework files!”
当前CDH5集群只有这一个JDK安装包
再通过CM引导界面为JDK安装JCE
安装完成后,可以看到集群所有节点都新安装了Oracle JDK 1.7
查看/usr/java/jdk1.8.0_144-cloudera/jre/lib/security目录,依然是跟安装前一样,并未将JCE策略文件安装到指定的JDK8的相应目录下。
根据上面的测试,可以确认通过CM的方式来安装JCE的话,JCE不会安装到当前集群使用的JDK目录下,而是安装在同时勾选的JDK安装目录下(即CM默认自带的JDK目录下)。
禁用Kerberos的AES-256加密
1.使用klist -e查看当前Kerberos账号的加密方式,如下图,可以看到默认使用的是AES-256的加密方式
2.接下来修改/var/kerberos/krb5kdc/kdc.conf文件将AES-256加密类型删除
代码语言:javascript复制[root@cdh01 krb5kdc]# vim /var/kerberos/krb5kdc/kdc.conf
3.修改完成kdc.conf文件配置后,需要重启kadmin和krb5kdc服务使其生效
代码语言:javascript复制[root@cdh01 krb5kdc]# systemctl restart krb5kdc
[root@cdh01 krb5kdc]# systemctl restart kadmin
4.重启完krb5kdc和kadmin服务后,在命令行验证Kerberos账号
代码语言:javascript复制kadmin.local: addprinc enpop1
[root@cdh01 krb5kdc]# kinit enpop1
Password for enpop1@HADOOP.COM:
[root@cdh01 krb5kdc]# klist -e
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: enpop1@HADOOP.COM
Valid starting Expires Service principal
07/03/2019 17:49:56 07/04/2019 17:49:56 krbtgt/HADOOP.COM@HADOOP.COM
renew until 07/10/2019 17:49:56, Etype (skey, tkt): aes256-cts-hmac-sha1-96, aes256-cts-hmac-sha1-96
注意:通过测试发现,修改配置并未生效显示Principal仍然支持AES-256。因为这个配置是数据库生成的时候配置的,导致修改了kdc配置文件后不能及时生效,需要重建KDC数据库。
5.删除KDC数据库的数据文件,通过如下命令重新生成数据库文件,并重启kadmin和krb5kdc服务,再次添加一个Principal账号,可以看到加密方式中已不支持AES-256
代码语言:javascript复制[root@hadoop1 ~]# rm -rf /var/Kerberos/krb5kdc/principal*
[root@hadoop1 ~]# kdb5_util create -r MACRO.COM -s
[root@hadoop1 ~]# systemctl restart kadmin
[root@hadoop1 ~]# systemctl restart krb5kdc
kadmin.local: addprinc admin/admin@MACRO.COM
[root@hadoop1 krb5kdc]# kinit admin/admin
[root@hadoop1 krb5kdc]# klist -e
总结
1.JDK 1.8.0_161之前版本的Java默认的AES最大支持128bit的秘钥,如果使用256bit的秘钥则需要为Java安装JCE Policy File。
2.JDK 1.8.0_161或更高版本的JDK是不需要再安装JCE Policy File,默认已默认启用无限强度加密。
3.可以通过手动或CM引导的方式为CDH集群的JDK安装JCE策略文件。
4.可以使用ps -ef命令查看当前集群使用的JDK路径,也可以通过CM的配置界面查看JDK的HOME目录(CM默认的JDK配置目录为/usr/java/jdk1.xxx-cloudera),C5默认使用JDK7,C6默认使用的JDK8。
5.通过前面的测试发现通过CM的引导界面来为CDH集群的JDK安装JCE策略文件,只能为升级向导中同时安装的JDK(即CM默认自带的JDK)添加JCE策略文件,如果集群使用自定义的JDK版本则需要通过手动的方式安装JCE。
6.要禁用Kerberos的AES-256加密类型时,只是修改kdc.conf配置文件,重启服务后是不会生效的,必须重建KDC数据库。
Fayson的github: https://github.com/fayson/cdhproject