说明
本文描述问题及解决方法同样适用于 弹性 MapReduce（EMR）。
背景
LDAP是开放的Internet标准，支持跨平台的Internet协议，在业界中得到广泛认可的，并且市场上或者开源社区上的大多产品都加入了对LDAP的支持，因此对于这类系统，不需单独定制，只需要通过LDAP做简单的配置就可以与服务器做认证交互。“简单粗暴”，可以大大降低重复开发和对接的成本。 —— LDAP概念及原理
- 系统环境说明
Linux环境：centos7.4
CDH：5.16.1
Java：1.8.0_131
LDAP版本：2.4.44
LDAP部署
本文档实验中是将Hadoop集群主节点作为LDAP服务器，实际生产中，最好使用专用机器作为LDAP服务器。
安装
代码语言：javascript复制yum install db4 db4-utils db4-devel cyrus-sasl* krb5-server-ldap -y
yum install openldap openldap-servers openldap-clients openldap-devel compat-openldap -y配置
更新配置库：
代码语言：javascript复制rm -rf /var/lib/ldap/*
cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG
chown -R ldap.ldap /var/lib/ldap配置数据存储目录：/etc/openldap/slapd.d
尽量不要直接编辑改目录的文件，建议使用ldapadd,ldapdelete,ldapmodify等命令来修改
默认配置文件保存在 /etc/openldap/slapd.d，将其备份：
代码语言：javascript复制cp -rf /etc/openldap/slapd.d /etc/openldap/slapd.d.bak添加一些基本配置，并引入openldap的schema：
代码语言：javascript复制touch /etc/openldap/slapd.confecho "include /etc/openldap/schema/corba.schema
include /etc/openldap/schema/core.schema
include /etc/openldap/schema/cosine.schema
include /etc/openldap/schema/duaconf.schema
include /etc/openldap/schema/dyngroup.schema
include /etc/openldap/schema/inetorgperson.schema
include /etc/openldap/schema/java.schema
include /etc/openldap/schema/misc.schema
include /etc/openldap/schema/nis.schema
include /etc/openldap/schema/openldap.schema
include /etc/openldap/schema/ppolicy.schema
include /etc/openldap/schema/collective.schema" > /etc/openldap/slapd.confecho -e "pidfile /var/run/openldap/slapd.pidnargsfile /var/run/openldap/slapd.args" >> /etc/openldap/slapd.conf更新slapd.d
代码语言：javascript复制slaptest -f /etc/openldap/slapd.conf -F /etc/openldap/slapd.d
chown -R ldap:ldap /etc/openldap/slapd.d && chmod -R 700 /etc/openldap/slapd.d启动服务
代码语言：javascript复制chkconfig --add slapd chkconfig --level 345 slapd on /etc/init.d/slapd start查看状态，验证服务端口：
代码语言：javascript复制ps -ef | grep slapd | grep -v grep
netstat -ntpl | grep :389创建LDAP的数据库
进入到/etc/openldap/slapd.d目录，查看/etc/openldap/slapd.d/cn=config/olcDatabase={2}hdb.ldif
可以看到一些默认的配置，例如：
代码语言：javascript复制olcRootDN: cn=Manager,dc=my-domain,dc=com
olcRootPW: secret
olcSuffix: dc=my-domain,dc=com建立modify.ldif文件，内容如下：
代码语言：javascript复制dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcSuffix
olcSuffix: dc=cdh.ai,dc=com
dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcRootDN</span>
<span style="color: #008000;"># 只有该用户有写权限</span>
<span style="color: #000000;">olcRootDN: uid=ldapadmin,ou=people,dc=cdh.ai,dc=com
dn: olcDatabase={2}hdb,cn=config
changetype: modify
add: olcRootPW</span>
<span style="color: #008000;"># root用户的密码</span>
<span style="color: #000000;">olcRootPW: admin
dn: cn=config
changetype: modify
add: olcAuthzRegexp
olcAuthzRegexp: uid=([^,]*),cn=GSSAPI,cn=auth uid=$1,ou=people,dc=cdh.ai,dc=com
dn: olcDatabase={2}hdb,cn=config
changetype: modify
add: olcAccess</span>
<span style="color: #008000;"># 所有人可读</span>
<span style="color: #000000;">olcAccess: {0}to dn.base="" by * read</span>
<span style="color: #008000;"># 只有ldapadmin用户可以写</span>
<span style="color: #000000;">olcAccess: {1}to * by dn="uid=ldapadmin,ou=people,dc=cdh.ai,dc=com" write by * read使用下面命令导入更新上面的这三个配置：
代码语言：javascript复制ldapmodify -Y EXTERNAL -H ldapi:/// -f modify.ldif更新配置过程中出现错误：additional info: modify/add: olcRootPW: no equality matching rule，修改modify.ldif中对应选项的add为replace即可
导入linux系统用户
安装migrationtools工具：
代码语言：javascript复制yum install migrationtools -y利用迁移工具生成模板，先修改默认的配置：
代码语言：javascript复制vim /usr/share/migrationtools/migrate_common.ph71行默认的dns域名
代码语言：javascript复制DEFAULT_MAIL_DOMAIN = "CDH.AI.COM";74行默认的base
代码语言：javascript复制DEFAULT_BASE = "dc=cdh.ai,dc=com";生成模板文件：
代码语言：javascript复制/usr/share/migrationtools/migrate_base.pl > /opt/base.ldif可以修改该文件，然后执行导入命令：
代码语言：javascript复制ldapadd -x -D "uid=ldapadmin,ou=people,dc=cdh.ai,dc=com" -w admin -f /opt/base.ldif将当前节点上的用户导入到 ldap 中，可以有选择的导入指定的用户：
先添加用户：
代码语言：javascript复制useradd dy查找系统上的dy用户：
代码语言：javascript复制grep -E "dy" /etc/passwd > /opt/passwd.txt生成用户的ldif文件，然后导入到ldap：
代码语言：javascript复制/usr/share/migrationtools/migrate_passwd.pl /opt/passwd.txt /opt/passwd.ldif
ldapadd -x -D "uid=ldapadmin,ou=people,dc=cdh.ai,dc=com" -w admin -f /opt/passwd.ldif查找系统上的dy组：
代码语言：javascript复制grep -E "dy" /etc/group >/opt/group.txt生成用户组的ldif文件，然后导入到ldap：
代码语言：javascript复制/usr/share/migrationtools/migrate_group.pl /opt/group.txt /opt/group.ldif
ldapadd -x -D "uid=ldapadmin,people,dc=cdh.ai,dc=com" -w root -f /opt/group.ldifHive集成LDAP
更改配置
在hive-site.xml中加入以下配置：
代码语言：javascript复制<property>
<name>hive.server2.authentication</name>
<value>LDAP</value>
</property>
<property>
<name>hive.server2.authentication.ldap.url</name>
<value>ldap://cdh01.ali.aiwaystack.com</value>
</property>
<property>
<name>hive.server2.authentication.ldap.baseDN</name>
<value>ou=people,dc=cdh.ai,dc=com</value>
</property>CDH UI界面：
重启Hive和Yarn服务
进入beeline测试：
代码语言：javascript复制beeline --verbose=true
beeline> !connect jdbc:hive2://cdh01.ali.aiwaystack.com:10000/default输入ldap账号密码，能登录成功即表示Hive集成完成。
Impala集成LDAP
更改配置
启用 LDAP 身份验证选项设置为true
Impala 命令行参数高级配置代码段（安全阀）中添加
代码语言：javascript复制-ldap_baseDN=ou=people,dc=cdh.ai,dc=comCDH UI界面：
然后重启Impala服务即可。
Hue集成LDAP
在Hue中配置LDAP可以让Hue直接使用LDAP所管理的账号，而不必在Hue中重新管理。
在Hue的配置页面中修改：
- 身份验证后端/backend 设置为 desktop.auth.backend.LdapBackend
- 登录时创建 LDAP 用户/create_users_on_login 设置为 True
- 使用搜索绑定身份验证/search_bind_authentication 设置为 False
有两种方法可以通过 Hue 使用目录服务进行身份验证：
- 搜索绑定
- 直接绑定
这里将使用直接绑定的方式，关于搜索绑定请参考Cloudera的文档说明
以上的配置将在登录Hue的时候自动创建默认情况下 Hue 中不存在的用户
直接绑定将用于身份验证的直接绑定机制将使用登录时提供的用户名和密码绑定到 LDAP 服务器
使用直接绑定要设置一下两个配置的其中之一：
nt_domain：仅限与 Active Directory 一起使用
ldap_username_pattern：为在身份验证时最终将发送到目录服务的 DN 提供了一个模板。 参数将被替换为登录时提供的用户名。
默认值：“uid=,ou=People,dc=mycompany,dc=com”
在nt_domain未指定的情况下将使用ldap_username_pattern配置值进行LDAP账号检索
在Hue的配置页面中设置LDAP 用户名模式/ldap_username_pattern 为uid=,ou=People,dc=xiaohei,dc=com
注意：ldap_username_pattern的格式要正确，不应该为 cn=,dc=example,dc=com 的形式，否则会造成使用LDAP账号登录Hue的时候用户名或者密码错误的信息
CDH UI界面：
配置完成之后重启Hue服务即可完成，之后可以通过管理员账号在Hue的用户管理中导入/同步LDAP账号和组。
关于HUE UI可视化权限管理的相关操作，下一篇文章中会详细讲解。
