告警监控对于一个集群来说，其重要性不言而喻。Cloudera Manager的告警功能非常详尽，CDH集群出现的异常、故障信息等都会及时地出现在CM页面上，通过页面可以快速方便地了解到集群运行性状况。...

CDH7.1.3 中 Ozone终于可以正式用于生产环境了。为了直观体验Ozone，我们需要把现有CDH7.1.1集群升级到CDH7.1.3。如何升级CDH集群，这便是本文要讲的主要内容。...

最新的CDH已经没有了社区版，也就是说以后使用新版本的Cloudera Manager和CDH都是要收费的，这对于很多小公司来说，可能无法承受。转向Ambari是他们的一个可选项。Ambari是Apache的一个顶级开源项目，开源是其最大的优势，开源...

在Hadoop集群内提供身份认证最佳和可接受的方式是使用Kerberos。Kerberos提供了强大的身份验证功能，但是它的复杂性也让很多集群管理员心生畏惧。而开发者在调用Hadoop生态组件的API或者向YARN提交任务时，需要在代码中...

很多公司在生产环境中会用OpenLDAP来进行用户的管理。LDAP是一款轻量级目录访问协议（Lightweight Directory Access Protocol，简称LDAP），属于开源集中账号管理架构的实现。OpenLDAP可以直接运行在更简单和更通用的TCP/IP...

Hadoop这个名字并不是什么具有实际意义的单词，而是Hadoop项目作者的孩子给一个棕黄 色大象玩具的命名

HDFS是主/从式的架构。一个HDFS集群会有一个NameNode（简称NN），也就是命名节点，该节点作为主服务器存在（master server）。NameNode用于管理文件系统的命名空间以及调节客户访问文件。此外，还会有多个DataNode（简称DN），也就是数据...

对大数据领域有一定了解的小伙伴对HBase应该不会陌生，HBase是Apache基金会开源的一个分布式非关系型数据库，属于Hadoop的组件。它使用Java编写，需运行于HDFS文件系统之上。HBase与Hadoop中的其他组件一样，可以运行在廉价...

一、日志采集系统 记录用户行为（搜索、悬停、点击事件、按钮、输入，请求异常采集等） PC端、App端（Ios，安卓），前端收集埋点数据

Flume作为一个数据接入组件，广泛应用于Hadoop生态中。在业务时间混乱的情况下，按照机器数据在HDFS上分区会降低ETL的效率。采用Flume自定义拦截器可以实现按照事件时间Sink到HDFS目录，以应对数据的事件时间混乱问题...