大数据平台01：Ambari2.7.5的编译和安装

前言

终于，要开始写点大数据相关的文章了。当真的要开始写老本行的时候，还是考虑了挺久的。一是不知道从何处写起，二是如何能写点有意思的。

我们常说，过程比结果重要。也是有很多人喜欢准备完全之后，才会开始做一件事情。但往往还没开始，自己就慢慢地否定了自己的想法。

技术如人生，总有翻不完的山。对未来将要发生的事情有所期待、对未来可能会发生的事情又不抱有期待。我们能做的，只有走好眼前的每一步。

所以，这次就决定从过程开始写起。提出构思和想法，然后去实现，每完成一部分，就写下过程、感悟。可能最后没有达到预期的结果，但相信过程总有收获。

平台架构

玩大数据，走到哪，肯定是要有平台的。最基本的Hadoop生态HDFS、Yarn、Hive是要有的，Kafka、zookeeper肯定也是要有的，redis肯定也是要有的，Spark、Flink客户端肯定也是要有的。

这么多东西怎么搞呢？

搞三台虚拟机？舍不得折腾自己的笔记本。

搞三台服务器？成本太高。

看了看手上仅有的一台1Core 2G配置的CVM，不禁陷入了沉思...

面临问题

1Core 2G想搞这么多平台组件，能够搞得起来？

大数据集群不是需要多台机器做分布式吗？

解决方案

机器配置怎么低，肯定性能就不要考虑了。如果考虑性能，就用钞能力升级配置或者使用多台主机。

至于分布式需要的多台机器，就用docker容器化来进行解决。这台机器上，之前也搞过8节点的redis cluster，难点就是端口的映射。

对于端口，redis还好，Hadoop端口机器多，所以在映射的时候时候肯定会很麻烦，这个就到时候再说。

起点

第一步肯定是安装Hadoop了。本来打算虚拟四个docker，然后搞个HA的Hadoop就完事了。但是，我就想着都弄到这了，就搞个Ambari吧，既能在线安装各个平台，还有监控运维界面，这逼格又高，功能又强，还不花钱何乐而不为？

所以第一步目标就是安装Ambari。

Ambari

当时我编译Ambari的时候最新版本还是2.7.5，现在已经是2.7.6了。编译的步骤跟着官方给出的文档即可。官方文档地址：https://cwiki.apache.org/confluence/display/AMBARI/Installation Guide for Ambari 2.7.5

编译前准备

安装JDK、安装maven
配置node，npm install bower
安装数据库，我选用的是MySQL，并建库建表，命令如下：

代码语言：javascript复制

create database ambari default charset=utf8;
CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
grant all on ambari.* to ambari@'%';


mysql> set global validate_password_policy=LOW; set global validate_password_policy=LOW; ^C
mysql> CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
mysql> set global validate_password_length=6
    -> ;

安装python2.6或者2.7，还需要使用setuptools模块，可以通过下面egg方式来进行安装。

代码语言：javascript复制

# 下载链接：https://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11-py2.7.egg#md5=fe1f997bc722265116870bc7919059ea
sh setuptools-0.6c11-py2.7.egg

Step1：下载编译

官方文档给出的五个步骤中，最难的就是编译这一块，编译过程中会遇到各种问题。我当时用了一个星期的晚上，解决了十几个比较棘手的问题，之后耗时40分钟才编译成功。

我的服务器系统是Centos，所以从官网给出的命令来看，我要做的就是将源码编译成rpm软件包，安装在服务器即可。

在实际操作中，我对编译命令进行了两处修改，一是通过nohup和&进行后台编译，二是通过设置-Drat.skip来绕过文件许可。

代码语言：javascript复制

nohup mvn -B clean install rpm:rpm -DnewVersion=2.7.5.0.0 -DbuildNumber=5895e4ed6b30a2da8a90fee2403b6cab91d19972 -DskipTests -Dpython.ver="python >= 2.6" -Drat.skip=true &

编译后的源码包大小也从80M变成了8G：