CDP-DC中部署Knox

文档编写目的

Apache Knox网关（“ Knox”）是一种在不降低Hadoop安全性的情况下将Apache™Hadoop®服务的覆盖范围扩展到Hadoop群集之外的用户的系统。Knox还为访问群集数据和执行作业的用户简化了Hadoop安全性。Knox网关被设计为反向代理。

本文主要介绍如何在CDP-DC集群上安装部署Knox。

内容概述

1) Knox功能概述

2) CDP-DC集群上部署Knox

3) Knox功能演示

测试环境

1) CM和Cloudera Runtime版本为7.1.1

2) Redhat7.7

3) 拥有Cloudera Manager的管理员账号

4) 集群已启用Kerberos，CM和Ranger已经配置了LDAP认证

Knox功能概述

CDP数据中心群集的防御层

身份验证：Kerberos

CDP使用Kerberos进行身份验证。Kerberos是一种行业标准，用于对Hadoop集群中的用户和资源进行身份验证。CDP还包括Cloudera Manager，可简化Kerberos的设置、配置和维护。

外围层级安全性：Apache Knox

Apache Knox网关用于帮助确保CDP客户的外围安全。使用Knox，企业可以放心地将Hadoop REST API扩展到没有Kerberos复杂性的新用户，同时还可以保持对企业安全策略的遵从性。Knox为Hadoop REST API提供了一个中央网关，这些API具有不同程度的授权，身份验证，SSL和SSO功能，以为Hadoop提供单个访问点。

授权：Ranger

操作系统安全性：数据加密和HDFS

Apache Knox网关概述

Apache Knox网关（反向代理）的概念概述。

总览

Knox与企业中使用的身份管理和SSO系统集成，并允许将这些系统中的身份用于访问Hadoop集群。

Knox网关为多个Hadoop集群提供安全性，具有以下优点：

• 简化访问：通过将Kerberos封装到集群中来扩展Hadoop的REST / HTTP服务。

• 增强安全性：在不公开网络细节的情况下公开Hadoop的REST / HTTP服务，提供现成的SSL。

• 集中控制：集中实施REST API安全，将请求路由到多个Hadoop集群。

• 企业集成：支持LDAP、Active Directory、SSO、SAML和其他身份验证系统。

典型的安全流程：防火墙，通过Knox网关路由

Knox可以与不安全的Hadoop群集和Kerberos安全的群集一起使用。在采用Kerberos安全群集的企业解决方案中，Apache Knox网关提供了企业安全解决方案，该解决方案：

• 与企业身份管理解决方案完美集成

• 保护Hadoop群集部署的详细信息（主机和端口对最终用户隐藏）

• 简化客户端需要与之交互的服务数量

Knox网关部署架构

外部访问Hadoop的用户可以通过Knox，Apache REST API或Hadoop CLI工具进行访问。

Knox支持的服务矩阵

一个支持矩阵，显示Apache Knox对Kerberized和Non-Kerberized集群支持的代理和SSO服务。

Table 1. Knox Supported Components

Component	SSO	Proxy (API)	Proxy (UI)
Cloudera Manager	✓	✓	✓
Ambari Metrics/Grafana
Atlas	✓	✓	✓
HBase		✓1
HDFS			✓
Hive (via JDBC)		✓
Hive (via WebHCat)		✓
Livy		✓
Log Search	✓		✓
MapReduce2	✓		✓
Oozie	✓	✓	✓
Ranger	✓2	✓	✓3
SmartSense
Spark 2/Spark History Server	✓		✓
WebHCat/Templeton		✓
WebHDFS		✓
YARN	✓	✓	✓
Zeppelin	✓	✓	✓

Apache Knox

本文档提供有关如何使用Cloudera Data Platform数据中心安装过程部署Apache Knox的说明。

Apache Knox是用于与REST API和UI进行交互的应用程序网关。Knox网关为Cloudera Data Platform集群中的所有REST和HTTP交互提供了单个访问点。

安装Knox时，必须在群集上启用Kerberos。

安装步骤

1)添加服务

从您的Cloudera Manager主页，转到状态选项卡> 群集名称> ... > 添加服务

2) 添加Knox服务

从服务列表中，选择“ knox”，然后单击“ 继续”。

3) 添加依赖项

在“选择依赖项”页面上，选择要Knox设置的依赖项：

HDFS，Ranger，Solr，Zookeeper	对于需要Apache Ranger进行授权的用户。带Ranger的HDFS。HDFS取决于Zookeeper，而Ranger取决于Solr。
HDFS，Zookeeper	HDFS取决于Zookeeper。
没有可选的依赖	对于不希望将Knox与HDFS或Ranger集成的用户。

这里选择对HDFS/Ranger/Solr/Zookeeper的依赖项。

4) 分配角色

在“分配角色”页面上，选择依赖项的角色分配，然后单击“继续”：

Knox服务角色	描述	是否必须？
Knox Gateway	如果安装了Knox，则应至少安装此角色的一个实例。该角色代表Knox网关，该网关为与Apache Hadoop集群的所有REST和HTTP交互提供单个访问点。	必须
KnoxIDBroker *	强烈建议将此角色安装在其自己的专用主机上。顾名思义，该角色将使您能够利用Knox的Identity Broker功能，这是一种身份联合解决方案，可以将群集身份验证交换为临时云凭据。*	可选的*
网关	此角色随CSD框架一起提供。网关结构用于描述安装了网关角色的每个主机上服务的客户端配置。	可选的