cdh以及phoenix服务的安装详细教程

CDH5.14.2以及安装phoenix文档

一、 centos7下安装CDH所需软件包:

cdh5.14.2下载：https://archive.cloudera.com/cdh5/parcels/5.14.2/

然后下载cm5.14.3软件包:

cm5.14.3下载:

https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.3/RPMS/x86_64/

RPM-GPC-KEY-cloudera下载:

https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/

mysql安装包准备:

https://dev.mysql.com/downloads/file/?id=480090

选择:

下载:mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar

https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar

下载jdk1.8安装包:

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-

下载phoenix相关软件包:

下载地址:

http://www.apache.org/dist/phoenix/apache-phoenix-4.14.0-cdh5.14.2/parcels/

二、集群规划

IP	hostname	software
10.10.6.83	wlt-1	mysql、httpd、cm server
10.10.6.84	wlt-2	cm agent、hdfs、hbase、phoenix、zookeeper、spark、yarn
10.10.6.85	wlt-3	cm agent、hdfs、hbase、phoenix、zookeeper、spark、yarn
10.10.6.86	wlt-4	cm agent、hdfs、hbase、phoenix、zookeeper、spark、yarn

三、上传软件

将上述所有软件包上传，准备开始安装了

四、开始安装CDH

4.1、修改hosts文件

范围:wlt-1/wlt-2/wlt-3/wlt-4

命令: vi /etc/hosts

4.2、修改hostname

范围: wlt-1/wlt-2/wlt-3/wlt-4

命令: vi /etc/hostname

wlt-1/wlt-2/wlt-3/wlt-4

4.3、ssh免密登录

4.3.1、创建私钥文件

范围: wlt-1/wlt-2/wlt-3/wlt-4

命令如下：

mkdir -p ~/.ssh

chmod 700 -R ~/.ssh

cd ~/.ssh

ssh-keygen -t rsa

这个就是一路回车就可以!

4.3.2、将秘钥文件拷贝到wlt-1

范围：wlt-2

命令：scp id_rsa.pub root@wlt-1:~/.ssh/id_rsa.pub.wlt-2

范围：wlt-3

命令：scp id_rsa.pub root@wlt-1:~/.ssh/id_rsa.pub.wlt-3

范围：wlt-4

命令：scp id_rsa.pub root@wlt-1:~/.ssh/id_rsa.pub.wlt-4

4.3.3、合并秘钥文件

范围：wlt-1

命令:

cat id_rsa.pub >> authorized_keys

cat id_rsa.pub.wlt2 >> authorized_keys

cat id_rsa.pub.wlt3 >> authorized_keys

cat id_rsa.pub.wlt4 >> authorized_keys

chmod 600 ~/.ssh/authorized_keys

4.3.4、分发公钥文件

范围： wlt-1

命令：

scp authorized_keys root@wlt-2:~/.ssh/authorized_keys

scp authorized_keys root@wlt-3:~/.ssh/authorized_keys

scp authorized_keys root@wlt-4:~/.ssh/authorized_keys

4.3.5、验证ssh免密登录

范围： wlt-1/wlt-2/wlt-3/wlt-4

命令：

ssh wlt-1

ssh wlt-2

ssh wlt-3

ssh wlt-4

4.4、集群时钟同步

4.4.1、安装ntp包

范围： wlt-1/wlt-2/wlt-3/wlt-4

命令：yum install -y ntp

4.4.2、主节点配置

4.4.2.1、修改配置文件

范围：wlt-1

命令：vi /etc/ntp.conf

修改以下内容：

#server 0.rhel.pool.ntp.org iburst

#server 1.rhel.pool.ntp.org iburst

#server 2.rhel.pool.ntp.org iburst

#server 3.rhel.pool.ntp.org iburst

server 127.127.1.0 # local clock

fudge 127.127.1.0 stratum 10

4.4.2.2、启动ntp服务

范围：wlt-1

命令：

systemctl start ntpd

systemctl enable ntpd

systemctl status ntpd

4.4.2.3、查看当前ntp状态

范围： wlt-1

命令：ntpq –p

出现*，说明已经开始同步了。

4.4.3、从节点配置

4.4.3.1、修改配置文件

范围： wlt-2/wlt-3/wlt-4

命令：vi /etc/ntp.conf

修改以下内容：

#server 0.rhel.pool.ntp.org iburst

#server 1.rhel.pool.ntp.org iburst

#server 2.rhel.pool.ntp.org iburst

#server 3.rhel.pool.ntp.org iburst

server 10.10.6.83

4.4.3.2、启动nto服务

范围： wlt-2/wlt-3/wlt-4

命令：

systemctl start ntpd

systemctl enable ntpd

systemctl status ntpd

4.4.3.3、查看当前ntp状态

范围： wlt-2/wlt-3/wlt-4

命令：ntpq –p

所有从节点出现*，说明已经开始同步了，如果此时还未出现，请耐心等待几分钟即可，一般 5分钟左右。

4.5、安装JDK

4.5.1、解压文件

范围：wlt-1/ wlt-2/wlt-3/wlt-4

命令：tar -xvf jdk-8u181-linux-x64.tar.gz

4.5.2、修改配置文件

范围：wlt-1/ wlt-2/wlt-3/wlt-4

命令：vi /etc/profile

增加以下内容:

export JAVA_HOME=/opt/jdk1.8.0_181

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.5.3、生效配置

范围：wlt-1/ wlt-2/wlt-3/wlt-4

命令：source /etc/profile

4.5.4、验证jdk

范围： wlt-1/ wlt-2/wlt-3/wlt-4

命令：java –version

4.6、配置jdbc驱动

范围： wlt-1/ wlt-2/wlt-3/wlt-4

命令：

tar -xvf mysql-connector-java-5.1.47.tar.gz

mkdir -p /usr/share/java/

mv /opt/mysql-connector-java-5.1.47/mysql-connector-java-5.1.47.jar /usr/share/java/

cd /usr/share/java

chmod 777 mysql-connector-java-5.1.47.jar

ln -s mysql-connector-java-5.1.47.jar mysql-connector-java.jar

4.7、安装httpd服务

4.7.1、安装httpd包

范围： wlt-1

命令：

yum -y install httpd createrepo

mv cm5.14.3/ cdh5.14.2/ /var/www/html/

cd /var/www/html/cm5.14.3/

createrepo ./

chmod 777 *

cd /var/www/html/cdh5.14.2/

createrepo ./

chmod 777 *

4.7.2、测试httpd服务

http://10.10.6.83/cm5.14.3

http://10.10.6.83/cdh5.14.2

可以看到俩个文件夹下的相关软件包

4.7.3、配置repo

范围： wlt-1/ wlt-2/wlt-3/wlt-4

命令：vi /etc/yum.repos.d/cm.repo

增加以下内容：

[cmrepo]

name = cm_repo baseurl = http://10.10.6.83/cm5.14.3

enable = true

gpgcheck = false

4.7.4、查看仓库

范围： wlt-1/ wlt-2/wlt-3/wlt-4

命令：yum repolist

4.8、设置swap

范围： wlt-1/ wlt-2/wlt-3/wlt-4

命令： echo "vm.swappiness=10" >> /etc/sysctl.conf

4.9、设置透明大页面

范围： wlt-1/ wlt-2/wlt-3/wlt-4

命令：

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

4.10、安装mysql

4.10.1、卸载mariadb

范围： wlt-1

命令：

rpm -qa|grep mariadb

rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64

4.10.2、安装mysql

范围： wlt-1

tar -xvf /opt/mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar

yum install -y net-tools

rpm -ivh mysql-community-common-5.7.24-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.24-1.el7.x86_64.rpm

rpm -ivh mysql-community-devel-5.7.24-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-compat-5.7.24-1.el7.x86_64.rpm

rpm -ivh mysql-community-client-5.7.24-1.el7.x86_64.rpm

rpm -ivh mysql-community-server-5.7.24-1.el7.x86_64.rpm

4.10.3、启动mysql服务

范围： wlt-1

命令：systemctl start mysqld

4.10.4、查看初始密码

范围： wlt-1

命令：grep 'temporary password' /var/log/mysqld.lo

4.10.5、设置mysql数据库

范围： wlt-1

命令：

mysql -u root –p

修改mysql密码定义规则:

set global validate_password_policy=0;

set global validate_password_mixed_case_count=0;

set global validate_password_number_count=3;

set global validate_password_special_char_count=0;

set global validate_password_length=3;

修改密码:

set password for 'root'@'localhost'=password('123');

GRANT ALL PRIVILEGES ON *.* TO root@'%' IDENTIFIED BY '123' WITH GRANT OPTION;

SHOW VARIABLES LIKE 'validate_password%';

创建cdh安装所需库:

create database cm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database rman DEFAULT CHARSET utf8 COLLATE utf8_general_ci; FLUSH PRIVILEGES;

exit;