深度挖掘｜Cloudera安装不再难！基础环境搭建全解析

2024-09-18 14:34:12 浏览数 (1)

Cloudera Manager是CDH市场领先的管理平台。它以其强大的数据管理和分析能力，帮助企业能够轻松驾驭海量数据，实现数据的实时分析与洞察。

Cloudera managerCloudera manager

作为业界第一的端到端 Apache Hadoop 的管理应用，Cloudera Manager对CDH的每个部件都提供了细粒度的可视化和控制，从而设立了企业部署的标准。通过Cloudera Manger，运维人员得以提高集群的性能，提升服务质量，提高合规性并降低管理成本。

主界面主界面

今天，我们将带你深入探索Cloudera的安装规划与系统环境搭建部署，为你的企业数据之旅铺设坚实的基石。

但在此之前，我们需要精心规划、细致部署。接下来，我们将一步步引导你完成 Cloudera 的安装规划与系统环境搭建，为企业数据中心的管理变得简单直观。

系统环境准备、安装基础环境

1.选择三台已安装 Centos6 Liunx 系统的节点，分配资源

安装 CDH 节点推荐内存为64G，大部分内存被 Cloudera Management Service 占用，因为做了大量的数据分析和整合。这里，划分三台节点如下:

节点表格节点表格

针对目前学习来说:

  • 如果实际的物理机器内存为 32G，推荐 cm Server 内存为 16G，cm Agent 内存分别为 4G。
  • 如果实际的物理机器内存为 16G，推荐 cm Server 内存为 10G，cm Agent 内存分别为 2G。
  • 如果实际的物理机器内存为 12G，推荐 cm Server 内存为 8G，cm Agent 内存分别为 2G。
  • 如果实际的物理机器内存为 8G，推荐 cm Server 内存为 6G，cm Agent 内存分别为 2G。

注意:后两种情况，实际机器内存不足，需要在 VM 虚拟机中设置允许交换内存。设置方式如下:

在 VMware 中点击“编辑”->“首选项”，找到内存，预留内存是给当前真实物理 机预留的内存量。在额外内存中，如果实际物理机内存不足 10G 就设置“允许交换大部分虚拟机内存”，设置这个的意思是当虚拟机内存不足时，可以允许内存与磁盘交换数据，从而获取更多的内存执行当前运行的程序。

首选项首选项

截止到这里，以上只是准备好的三台划分好内存和核心的空节点。

注意: 实际物理机器安装Vmware 的磁盘至少还要预留 50G 磁盘空间。

2.配置IP

在每台节点上配置ip，打开 /etc/sysconfig/network-scripts/ifcfg-eth0编辑内容如下:

代码语言：javascript复制
1. DEVICE=eth0
2. TYPE=Ethernet
3. ONBOOT=yes
4. NM_CONTROLLED=yes
5. BOOTPROTO=static
6. IPADDR=192.168.179.201 
7. NETMASK=255.255.255.0 
8. GATEWAY=192.168.179.2 
9. DNS1=192.168.179.2
10. DNS2=8.8.8.8

重启网络服务使 ip 生效:

代码语言：javascript复制
1. service network restart

三台节点配置的ip分别为:

  1. 192.168.179.201
  2. 192.168.179.202
  3. 192.168.179.203

注意:每台节点克隆后需要删除每台节点/etc/udev/rules.d/70-persistent-net.rules文件，清除mac地址。重启每台节点即可。

3.配置每台节点的hostname

修改每台节点/etc/sysconfig/network中的HOSTNAME，分别为:cm1,cm2,cm3。设置好每台节点的hostname之后重启每台节点即可生效。

4.配置节点ip、hostname映射

在每台节点/etc/hosts文件后追加如下内容，配置ip与hostname之间的映射。

代码语言：javascript复制
1. 192.168.179.201 cm1
2. 192.168.179.202 cm2
3. 192.168.179.203 cm3

5.关闭防火墙

在每台节点上执行如下命令，关闭防火墙，并设置开机不启动:

代码语言：javascript复制
1. [root@cm3 ~]# service iptables stop
2. [root@cm3 ~]# chkconfig iptables off
3. [root@cm3 ~]# chkconfig iptables --list
4. iptables 0:off 1:off 2:off 3:off 4:off 5:off 6:off

6.关闭SELinux

SELinux就是Security-Enhanced Linux的简称，安全加强的 linux。传统的linux权限是对文件和目录的 owner, group和 other 的 rwx 进行控制，而 SELinux 采用的是委任式访问控制，也就是控制一个进程对具体文件系统上面的 文件和目录的访问，SELinux 规定了很多的规则，来决定哪个进程可以访问哪些 文件和目录。虽然 SELinux 很好用，但是在多数情况我们还是将其关闭，因为在 不了解其机制的情况下使用 SELinux 会导致软件安装或者应用部署失败。

在每台节点/etc/selinux/config中将SELINUX=enforcing改成SELINUX=disabled 即可。

7.配置yum源

这里我们选择使用本地 yum源。需要在 VM中设置下连接光驱，步骤如下图：

本地源本地源

在 cm1,cm2,cm3 节点上配置本地 yum源: 每台节点创建/mnt/cdrom 目录:

代码语言：javascript复制
1. mkdir -p /mnt/cdrom

每台节点执行如下命令，将光盘设备/dev/sr0 挂载到/mnt/cdrom 目录:

代码语言：javascript复制
1. [root@cm1 ~]# mount /dev/sr0 /mnt/cdrom/
2. mount: block device /dev/sr0 is write-protected, mounting read-only

每台节点执行命令:df -h 查看是否挂载成功:

代码语言：javascript复制
1. df -h

上面的 mount 命令挂载后在机器重启后会失效，为了可以实现开机自动挂载，可以在每台节点的/etc/fstab 文件的最后面加入下面语句:

代码语言：javascript复制
1. /dev/sr0 /mnt/cdrom iso9660 defaults 0 0

下面可以创建本地 yum 源，在每台节点的/etc/yum.repos.d 目录下创建 local.repo 文件，内容如下:

代码语言：javascript复制
1. [local]
2. name=local repo
3. baseurl=file:///mnt/cdrom 4. enable=1
5. gpgcheck=1
6. gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

以上内容中 baseurl是指 Yum源的地址，该路径下有个 repodata目录，就是yum安装源目录。file://表示 yum源为文件。

如果只想让 local.repo 生效，可以在每台节点的/etc/yum.repos.d 目录下 创建一个backup目录，将其他的以“.repo”结尾的文件都移动到backup目录中。

代码语言：javascript复制
1. mkdir -p /etc/yum.repos.d/backup
2. mv /etc/yum.repos.d/CentOS-* /etc/yum.repos.d/backup/

在每台节点上执行以下命令，更新 yum 源:

代码语言：javascript复制
1. yum clean all
2. yum makecache

8.配置ssh免密钥登陆

在 CDH 中需要任意两个节点之间都可以免秘钥登录。节点两两免秘钥的根本原理如 下:假设 A 节点需要免秘钥登录 B 节点，只要 B 节点上有 A 节点的公钥，那么 A节点就可以免密登录当前 B 节点。

第一、需要在每台节点上安装 ssh 客户端，否则，不能使用 ssh 命令(最小化安装 Liunx，默认没有安装 ssh 客户端):

代码语言：javascript复制
1. yum -y install openssh-clients

第二、在每台节点执行如下命令，在每台节点的“~”目录下，创建.ssh 目录，注意：不要手动创建这个目录，因为有权限问题。

代码语言：javascript复制
1. cd ~
2. ssh localhost
3. #这里会需要输入节点密码# 
4. exit

第三、在每台节点上执行如下命令，给当前节点创建公钥和私钥：

代码语言：javascript复制
1. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

第四、将cm1,cm2,cm3的公钥copy到cm1 上，这样，cm1,cm2,cm3 节点都能登录cm1节点。命令如下:

代码语言：javascript复制
1. 在cm1上执行如下命令，需要输入密码:
2. [root@cm1 .ssh]# ssh-copy-id cm1 #会在当前~/.ssh 目录下生成 authorized_keys 文件，文件中存放当前 cm1 的公钥#
3. 在cm2上执行如下命令，需要输入密码: 
4. 在cm3上执行如下命令，需要输入密码:
5. 在cm3上执行如下命令，需要输入密码:
6. [root@cm3~]#ssh-copy-idcm1#会将cm3的公钥追加到cm1节点的authorized_keys 文件中#

最后、将cm1 节点上~/.ssh/authorized_keys 拷贝到cm2和cm3节点的 ~/.ssh/目录下，执行如下命令:

经过以上步骤，节点两两免密完成。

9.节点同步时间

在 cm1,cm2,cm3 每台节点上执行如下命令，安装 ntp 服务及配置定时任务:‍

代码语言：javascript复制
1. yum-yinstallntp#安装ntp服务#
2. rm -rf /etc/localtime #删除现有时区#
3. ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #修改上海时区# 
4. /usr/sbin/ntpdate -u pool.ntp.org #同步时间#
5. date #查看时间#
6. #crontab -e 写入如下定时内容:#
7. */10 * * * * /usr/sbin/ntpdate -u pool.ntp.org >/dev/null 2>&1 #同步时
间定时任务#
8. service crond restart #重启定时任务#
9. crontab -l #查看定时任务#
10.
11. chkconfigntpdon#设置ntpd开机启动，不然后期安装CDH时会有警告。 
12. servicentpdstart#启动ntpd服务

10.安装JDK

给每台节点安装jdk，这里我们安装的CDH版本为5.4，在官网https://www.cloudera.com/documentation/enterprise/release-n otes/topics/rn_consolidated_pcm.html 下有介绍 版本对应的jdk 版本，可以使用 jdk7，也可使用 jdk8，但是对应的 jdk 小版本有要求，具体如下:

JDK7JDK7
JDK8JDK8

这里我们选择 jdk8版本中的 1.8u181版本安装。在每台节点安装 jdk，在每台节点中创建/software目录，将 jdk8安装包通过ftp工具上传到/software 目录下，每台节点执行如下命令安装 jdk:

代码语言：javascript复制
1. [root@cm1 ~]# mkdir -p /software
2. [root@cm1 ~]# rpm -ivh /software/jdk-8u181-linux-x64.rpm

以上命令执行完成之后，会在每台节点的/usr/java 下安装 jdk。在每台节点配置 jdk的环境变量:

代码语言：javascript复制
1. vim /etc/profile
2. #在每台节点中配置profile文件，在最后追加内容如下:#
3. export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
4. export PATH=$JAVA_HOME/bin:$PATH
5. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

执行完成以上命令之后，在每台节点上执行 “source /etc/profile”使配置 生效。

11.安装mysql数据库

在 cm1 中安装 mysql 数据库，执行命令:yum install –y mysql-server执行完成之后，启动 mysql:service mysql start。登录 mysql 执行如下语句:

代码语言：javascript复制
1. [root@cm1 java]# mysql
2. mysql> use mysql;
3. mysql> select user,password from user;
4. mysql> delete from user;
5. mysql>GRANTALLPRIVILEGESON*.*TO'root'@'%'IDENTIFIEDBY'123456'WITH
       GRANT OPTION;
6. mysql> flush privileges;

执行完成以上命令之后，在每台节点上执行 “source /etc/profile”使配置 生效。

代码语言：javascript复制
1. [root@cm1 ~]# chkconfig --add mysqld
2. [root@cm1 ~]# chkconfig --level 345 mysqld on 
3. [root@cm1 ~]# chkconfig --list

12.安装第三方依赖包

在每台几点上安装第三方依赖包，每台节点执行如下命令:‍

代码语言：javascript复制
1. yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

至此，安装Cloudera Manager的基础环境准备完成。

以上就是今天分享的全部内容。

如果你想了解更多关于：Cloudera系统环境准备、基础环境安装、集群部署以及应用组件安装等全方位的技术的问题，可以关注我。

感谢你的阅读，如果喜欢我的文字，可以持续关注我，会陆续为你更新更多干货小知识。

cloudera cloudera-cdhCloudera CDH Cloudera安装 基础环境搭建

0 人点赞