Centos7安装CDH(1、环境配置)

2022-11-02 14:40:56 浏览数 (1)

1. CDH的下载

以CentOS7.5和CDH5.7.0举例:

1.1. cm的tar包下载

下载地址:http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/cm5.7.0-centos7.tar.gz

请选择需要的版本。

1.2. parcels包下载

下载地址:http://archive.cloudera.com/cdh5/parcels/5.7.0/

请选择对应的版本,el7,并将后缀.sha1更改为.sha。

1.3.安装JDK(所有服务器都用)

创建文件夹

代码语言:javascript复制
mkdir -p /usr/local/src/jdk
代码语言:javascript复制
cd /usr/local/src/jdk

查看安装程序

代码语言:javascript复制
rpm -qa | grep -i jdk

若之前安装过jdk,下次安装一定把之前的删除干净

下载jdk包

代码语言:javascript复制
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie"  http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

vi /etc/resolv.conf,编辑dns服务器,nameserver 114.114.114.114(这是国内的dns服务器系统,还是比较好用的。谷歌的可以使用8.8.8.8)   如果报错-bash: wget: command not found。执行命令

代码语言:javascript复制
yum -y install wget

解压

代码语言:javascript复制
tar -zxvf jdk-8u131-linux-x64.tar.gz

重命名

代码语言:javascript复制
mv jdk1.8.0_131  jdk1.8

配置环境变量

代码语言:javascript复制
vi /etc/profile

拉到最下面将以下代码粘贴进去

代码语言:javascript复制
export JAVA_HOME=/usr/local/src/jdk/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

wq保存退出执行以下命令让它生效

代码语言:javascript复制
source /etc/profile

java -version验证是否生效

2. 准备工作,没有特别说明所有服务器都要做

主机重命名并配置hosts

代码语言:javascript复制
执行命令
echo "bigdata0*.tfpay.com" > /etc/hostname
echo "192.168.99.57    bigdata01.tfpay.com    bigdata01" >> /etc/hosts
echo "192.168.99.58    bigdata02.tfpay.com    bigdata02" >> /etc/hosts
echo "192.168.99.59    bigdata03.tfpay.com    bigdata03" >> /etc/hosts

重启
reboot

检查,看看主机名称是否更改
hostname

关闭防火墙,并重启服务器使hostname和selinux的配置生效

代码语言:javascript复制
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld
sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config
reboot

getenforce
sestatus -v

安装NTP同步时间

在所有节点都执行命令

代码语言:javascript复制
yum -y install ntp

vi /etc/ntp.conf

注释掉所有server后 

代码语言:javascript复制
主节点加入:
server ntp.api.gz iburst
从节点加入:
server 192.168.99.57 iburst


添加完成所有节点执行:
systemctl start ntpd
systemctl enable ntpd

安装Mysql(主服务器做就可以)

代码语言:javascript复制
#安装MySQL前先写着系统自带的数据库
rpm -qa |grep mariadb
yum –y remove 查找出的数据库

#直接使用yum命令安装MySQL
yum install mysql
yum install mysql-server
yum install mysql-devel

#此时安装mysql-server时会出错,应该先去官网下载再进行安装
wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum install mysql-community-server

#重启MySQL服务,并进入MySQL数据库内部,此时不需要密码就能进入
service mysqld restart
mysql -u root
mysql> set password for 'root'@'localhost' =password('password');

#远程连接设置(后面的root为密码)
grant all privileges on *.* to 'root'@'%' identified by 'root';
flush privileges;

#MySQL的安装还可以参考如下网址
https://www.cnblogs.com/starof/p/4680083.html
https://www.cnblogs.com/fujiangong/p/5620050.html
https://blog.csdn.net/u010936936/article/details/81939880

配置SSH无密码登陆

代码语言:javascript复制
#生产密钥
ssh-keygen -t rsa

复制公钥

代码语言:javascript复制
cd ~/.ssh/
cp id_rsa.pub authorized_keys

# 下面的命令是把其他主机的公钥复制到本机
ssh-copy-id -i bigdata01
ssh-copy-id -i bigdata02
ssh-copy-id -i bigdata03

 所有节点互相配置,自身不需配置,最后ssh其他节点直接进去则成功

环境配置就完成了,下文配置CDH

0 人点赞