温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github: https://github.com/fayson/cdhproject
提示:代码块部分可以左右滑动查看噢
1
文档编写目的
在前面的文章Fayson介绍了在CDSW用户无感知的情况下通过API接口以密码的方式为不同的业务用户绑定Kerberos账号,CDSW的Hadoop Authentication认证方式提供密码和Keytab两种方式。本篇文章Fayson主要介绍通过API接口以keytab的方式为用户绑定Kerberos账号。
- 测试环境
1.RedHat7.4
2.CDSW版本为1.4.2
3.CM和CDH版本为5.16.1
2
涉及API接口
在这篇文章中Fayson主要介绍通过API接口以keytab的方式为不同的业务用户绑定Kerberos账号,本篇文章涉及到的API接口如下:
- 为指定用户创建一个上传keytab的flow upload id接口
请求地址:http://{cdsw_domain}/api/v1/users/{user}/upload
请求类型:POST
请求参数:{"uploadType":"kerberosCredentials","kerberosCredentials":{"principal":"fayson","clusterId":1}}
返回值:{"flowUploadId":"f08771dbff8c560a91d0dc690d0104989d874af2fb2049bbbf66483270218308"}
- 为指定用户上传keytab文件接口
请求地址:http://{cdsw_domain}/api/v1/users/{user}/upload/chunk
请求类型:POST
请求参数:
flowUploadId:上一步请求返回的flow upload id
flowChunkNumber:1
flowChunkSize:5 * 1024 * 102
flowCurrentChunkSize:498(keytab文件大小)
flowTotalSize:498(keytab文件大小)
flowIdentifier:{filesize}-fayson.keytab(重命名keytab文件名)
flowFilename:fayson.keytab(keytab文件名)
flowRelativePath:fayson.keytab(keytab文件名)
file:@/root/fayson.keytab(指定本地keytab文件路径,主要“@”)
flowTotalChunks:1
返回值:{"status": "OK"}
- 获取绑定状态API接口
请求地址:http://{cdsw_domain}/api/v1/users/admin/upload/downstream-result?flowUploadId={flowUploadId}
请求类型:GET
返回值:{"status": "success","content": "xxx”}
- 注销Kerberos绑定
请求地址:http://{cdsw_domain}/api/v1/users/{user}/kerberos-credentials?clusterId=1
请求类型:DELETE
3
绑定Kerberos账号
本章节测试主要使用curl命令方式调用API接口,为不同的业务用户绑定Kerberos账号。
1.准备一个fayson.keytab文件
2.admin用户绑定Kerberos账号之前
3.在命令行执行如下命令创建一个flow upload id
代码语言:javascript复制[root@cdsw ~]# curl -u 'admin:123456' -X POST -H "Content-Type:application/json" -d '{"uploadType":"kerberosCredentials","kerberosCredentials":{"principal":"fayson","clusterId":1}}' 'http://cdsw.fayson.com/api/v1/users/admin/upload'
4.通过指定flow upload id及keytab文件大小等信息调用上传keytab接口
代码语言:javascript复制curl -u 'admin:123456' -X POST -F "flowUploadId=f08771dbff8c560a91d0dc690d0104989d874af2fb2049bbbf66483270218308"
-F "flowChunkNumber=1"
-F "flowChunkSize=5242880"
-F "flowCurrentChunkSize=1002"
-F "flowTotalSize=1002"
-F "flowIdentifier=1002-faysonkeytab"
-F "flowFilename=fayson.keytab"
-F "flowRelativePath=fayson.keytab"
-F "file=@/root/fayson.keytab"
-F "flowTotalChunks=1"
"http://cdsw.fayson.com/api/v1/users/admin/upload/chunk"
5.keytab上传成功后,通过如下接口获取绑定结果
代码语言:javascript复制curl -u 'admin:123456' -X GET http://cdsw.fayson.com/api/v1/users/admin/upload/downstream-result?flowUploadId=f08771dbff8c560a91d0dc690d0104989d874af2fb2049bbbf66483270218308
6.登录admin用户查看Kerberos绑定成功
7.启动一个Session进行测试
Yarn上查看Spark作业运行成功
4
总结
1.通过keytab的认证方式绑定相较于之前的密码认证方式绑定会复杂些,API的调用需要按照顺序,先获取flow upload id后才可以上传keytab文件,最后通过接口获取绑定结果。
2.在API请求地址中注意,如果需要为某个业务用户设置Kerberos账号则将请求地址中的{user}修改为相应的用户即可。
3.在上传keytab文件时,需要注意文件的大小要根据实际文件大小进行设置,否则会报错。
4.上传文件时file属性指定本地文件前需要加“@”,否则会报文件路径异常问题。
5.这里的API接口有个漏洞,并未做严格的用户权限控制,只要是认证通过的用户均可以随意为其它用户进行Kerberos账号绑定及注销操作。
疑问:关于上传keytab的API接口中,ChunkNumber和flowTotalChunks参数设置为1,暂不没搞懂该值如何生成,目前keytab文件不特别大设置为1不会出现问题。
https://blog.csdn.net/coloriy/article/details/47293525
提示:代码块部分可以左右滑动查看噢
为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。