在前面的文章Fayson介绍了《Livy，基于Apache Spark的开源REST服务，加入Cloudera Labs》、《如何编译Livy并在非Kerberos环境的CDH集群中安装》和《如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业》，本...

前面Fayson也介绍过《如何在集群外节点跨网段向HDFS写数据》和《如何使用Java代码访问HDFS》。在非Kerberos的环境中，使用HttpFS是不需要输入用户密码的，为了集群数据安全考虑可以考虑配置HttpFS的SSL。本篇文章主要介...

在前面的文章Fayson讲了《1.如何在CentOS6.5安装OpenLDAP并配置客户端》、《2.OpenLDAP集成SSH登录并使用SSSD同步用户》、《3.如何实现OpenLDAP的主主同步》以及《4. 如何为Hive配置OpenLDAP认证》。本篇文章主要介...

前面Fayson介绍过《如何使用HAProxy实现Impala的负载均衡》，在Kerberos环境HAProxy的配置与非Kerberos环境下是一样的，只是在Impala的配置上需要做一些修改，接下来本篇文件主要讲述如何在Kerberos环境下使用HAProxy实现I...

Hadoop集群其中一个优点就是可伸缩性（横向扩展），通过增加计算节点使服务容量产生线性增长的能力。可伸缩的应用程序的主要特点是：只需要增加资源，而不需要对应用程序本身进行大量修改。在集群资源紧张的情况下可通过动态的...

Impala提供了多种访问方式如impala-shell、beeline、JDBC以及ODBC等方式，关于beeline、JDBC的连接方式可以参考Fayson前面的文章《如何使用java代码通过JDBC连接Impala(附Github源码)》和《如何使用Beeline连接Impala...

注意：Fayson的github调整为：https://github.com/fayson/cdhproject，本文的代码在github中也能找到。

在前面文章Fayson讲过《如何使用hadoop命令向CDH集群提交MapReduce作业》和《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》，但有些用户需要在非CDH集群的节点提交作业，这里实现方式有多种一种是将该节点加入C...

Gateway节点又称为客户端节点，通常用作访问Hadoop集群的接口机。它主要会部署一些客户端的配置，脚本命令，比如HDFS的core-site.xml，hdfs-site.xml以及hadoop的操作命令。...

访问Impala的方式很多（如：impala-shell、ODBC、JDBC、Beeline），也可以通过Hue的来访问。关于Beeline方式连接Impala可以参考前面的《如何使用Beeline连接Impala》，本篇文章主要讲述如何使用JAVA代码通过JDBC的方式连接Kerb...