1. CDH的下载
以CentOS7.5和CDH5.7.0举例:
1.1. cm的tar包下载
下载地址:http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/cm5.7.0-centos7.tar.gz
请选择需要的版本。
1.2. parcels包下载
下载地址:http://archive.cloudera.com/cdh5/parcels/5.7.0/
请选择对应的版本,el7,并将后缀.sha1更改为.sha。
1.3.安装JDK(所有服务器都用)
创建文件夹
代码语言:javascript复制mkdir -p /usr/local/src/jdk
代码语言:javascript复制cd /usr/local/src/jdk
查看安装程序
代码语言:javascript复制rpm -qa | grep -i jdk
若之前安装过jdk,下次安装一定把之前的删除干净
下载jdk包
代码语言:javascript复制wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
代码语言:javascript复制vi /etc/resolv.conf,编辑dns服务器,nameserver 114.114.114.114(这是国内的dns服务器系统,还是比较好用的。谷歌的可以使用8.8.8.8) 如果报错-bash: wget: command not found。执行命令
yum -y install wget
解压
代码语言:javascript复制tar -zxvf jdk-8u131-linux-x64.tar.gz
重命名
代码语言:javascript复制mv jdk1.8.0_131 jdk1.8
配置环境变量
代码语言:javascript复制vi /etc/profile
拉到最下面将以下代码粘贴进去
代码语言:javascript复制export JAVA_HOME=/usr/local/src/jdk/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
wq保存退出执行以下命令让它生效
代码语言:javascript复制source /etc/profile
java -version验证是否生效
2. 准备工作,没有特别说明所有服务器都要做
主机重命名并配置hosts
代码语言:javascript复制执行命令
echo "bigdata0*.tfpay.com" > /etc/hostname
echo "192.168.99.57 bigdata01.tfpay.com bigdata01" >> /etc/hosts
echo "192.168.99.58 bigdata02.tfpay.com bigdata02" >> /etc/hosts
echo "192.168.99.59 bigdata03.tfpay.com bigdata03" >> /etc/hosts
重启
reboot
检查,看看主机名称是否更改
hostname
关闭防火墙,并重启服务器使hostname和selinux的配置生效
代码语言:javascript复制systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld
sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config
reboot
getenforce
sestatus -v
安装NTP同步时间
在所有节点都执行命令
代码语言:javascript复制yum -y install ntp
vi /etc/ntp.conf
注释掉所有server后
代码语言:javascript复制主节点加入:
server ntp.api.gz iburst
从节点加入:
server 192.168.99.57 iburst
添加完成所有节点执行:
systemctl start ntpd
systemctl enable ntpd
安装Mysql(主服务器做就可以)
代码语言:javascript复制#安装MySQL前先写着系统自带的数据库
rpm -qa |grep mariadb
yum –y remove 查找出的数据库
#直接使用yum命令安装MySQL
yum install mysql
yum install mysql-server
yum install mysql-devel
#此时安装mysql-server时会出错,应该先去官网下载再进行安装
wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum install mysql-community-server
#重启MySQL服务,并进入MySQL数据库内部,此时不需要密码就能进入
service mysqld restart
mysql -u root
mysql> set password for 'root'@'localhost' =password('password');
#远程连接设置(后面的root为密码)
grant all privileges on *.* to 'root'@'%' identified by 'root';
flush privileges;
#MySQL的安装还可以参考如下网址
https://www.cnblogs.com/starof/p/4680083.html
https://www.cnblogs.com/fujiangong/p/5620050.html
https://blog.csdn.net/u010936936/article/details/81939880
配置SSH无密码登陆
代码语言:javascript复制#生产密钥
ssh-keygen -t rsa
复制公钥
代码语言:javascript复制cd ~/.ssh/
cp id_rsa.pub authorized_keys
# 下面的命令是把其他主机的公钥复制到本机
ssh-copy-id -i bigdata01
ssh-copy-id -i bigdata02
ssh-copy-id -i bigdata03
所有节点互相配置,自身不需配置,最后ssh其他节点直接进去则成功
环境配置就完成了,下文配置CDH