Hadoop环境搭建及安装

2022-01-07 16:51:30 浏览数 (1)

#原创文章，转载敬请注明出处！

文章大纲：

01PREPARE

搭建准备

1.安装应用

1) VMware：用于虚拟服务器环境

2) Xshell（可选）：用于在本地访问虚拟服务器，也可选择其他远程工具，如SecureCRT

3) WinSCP（可选）：用于传输文件至虚拟服务器，也可选择其他FTP工具，如FlashFXP

2.下载系统及压缩包

1) CentOS8 系统镜像

2) JDK 1.8

3) Hadoop 2.10.x

3.集群规划

根据自己主机的配置合理进行集群资源规划，建议虚拟三台以上机器做集群。例如：主机配置为CPU6核、内存16GB，可配置1处理器1核*3、4GB内存*3、30GB磁盘*3.

图1-3-1：主机计算机配置信息

02SET UP OS

搭建系统

1.搭建虚拟机

使用VMware新建虚拟机，建议使用自定义类型配置，按照规划分配资源，其他根据自身情况及默认推荐选择：

图2-1-1：使用自定义配置

图2-1-2：选择稍后安装OS

图2-1-3：配置虚拟机处理器

图2-1-4：配置虚拟机内存

图2-1-5：选择网络类型为NAT

图2-1-6：创建新虚拟磁盘

图2-1-7：指定磁盘大小并选择拆分成多个文件

2.安装Linux系统

1) 设置刚完成配置的空壳虚拟机，CD/DVD选择使用ISO映像文件，选择下载的CentOS8系统镜像所在文件位置：

图2-2-1：选择系统文件位置

2) 开启配置的虚拟机进行CentOS8系统安装：

图2-2-2：开始安装系统

3) 根据自身情况设置键盘、语言、时间/日期：

图2-2-3：设置键盘、语言、时间/日期

4) 磁盘分区建议新手直接选择自动分区，需要自定义配置可参考我的配置：

图2-2-4：磁盘分区自定义配置（仅供参考）

5) 网络暂不做配置，安装系统完成后，连同本地的网络及虚拟机网络进行配置，后面会有详细介绍.

6) 设置root用户密码，暂不新建其他用户.

7) 配置完成后开始安装系统.

3.配置网络

网络地址转换(NAT)模式，是在宿主机和虚拟机之间增加一个地址转换服务，负责外部和虚拟机之间的通讯转接和IP转换。我们部署Hadoop集群选择NAT模式，各个虚拟机通过NAT使用宿主机的IP来访问外网。要求集群中的各个虚拟机有固定的IP、可以访问外网，因此做如下配置：

1) 配置本地VMnet

在本地网络连接中设置一个子网网段，默认是192.168.136网段，我们这里设置为100网段，将来各个虚拟机IP就为 192.168.100.*。

图2-3-1：配置本地VMnet

2) 配置虚拟网络编辑器

图2-3-2：配置虚拟网络编辑器

3) 配置虚拟服务器系统网络

图2-3-3：配置虚拟服务器系统网络

或修改网络配置文件，这里的ens33为实际网卡名称

代码语言：javascript复制
vim /etc/sysconfig/network-scripts/ifcfg-ens33

设置参数内容

代码语言：javascript复制
BOOTPROTO=static  # 这里需要设置为静态的ip地址
ONBOOT=yes # 启动的时候打开网络，不然不能联网
IPADDR=192.168.100.10 # 你要设置的IP地址
GATEWAY=192.168.100.2 # 网关
NETMASK=255.255.255.0 # 网络掩码
DNS1=202.106.196.115  # DNS服务器

4) 修改hostname

修改配置文件 /etc/sysconfig/network

代码语言：javascript复制
vim /etc/sysconfig/network

打开文件后添加：

代码语言：javascript复制
NETWORKING=yes
HOSTNAME=hadoop100

5) 配置host

修改host文件 /etc/hosts

代码语言：javascript复制
vim /etc/hosts

打开文件后添加：

代码语言：javascript复制
192.168.100.10 hadoop100

6) 关闭防火墙

代码语言：javascript复制
systemctl stop firewalld.service           #停止firewall
systemctl disable firewalld.service        #禁止firewall开机启动

7) 关闭selinux

修改配置文件 /etc/selinux/config

代码语言：javascript复制
vim /etc/selinux/config

修改selinux参数

代码语言：javascript复制
SELINUX=disabled

8) 重启网络服务

代码语言：javascript复制
service network restart

9) 双向检查网络连接

a.在虚拟服务器ping本地IP，检查是否能连通

图2-3-9a：在虚拟服务器ping本地IP

b.在本地ping虚拟服务器IP及hostname，检查是否能连通

图2-3-9b：在本地ping虚拟服务器IP及hostname

4.设置用户及权限

1) 创建名字为hadoop的普通用户

代码语言：javascript复制
useradd hadoop
passwd hadoop

2) 给hadoop用户sudo权限

代码语言：javascript复制
vim /etc/sudoers

添加hadoop用户的权限：

代码语言：javascript复制
root    ALL=(ALL)   ALL
hadoop  ALL=(ALL)   ALL     #添加hadoop用户权限

注：若root用户无权限修改sudoers文件，先手动为root用户添加此文件的写权限

代码语言：javascript复制
chmod u w /etc/sudoers

3) 切换到hadoop用户进行下面的安装操作

代码语言：javascript复制
su - hadoop

03HADOOP INSTALL

Hadoop安装

1.创建目录

1) 创建存放应用压缩包及应用安装的目录

代码语言：javascript复制
sudo mkdir /opt/softwares /opt/modules

2) 将目录文件夹所有者指定为hadoop用户

代码语言：javascript复制
sudo chown -R hadoop:hadoop /opt/softwares /opt/modules

2.安装JDK

1) 使用WinSCP将下载的JDK压缩包上传到 /opt/softwares 目录

2) 将JDK压缩包解压到 /opt/modules 目录下

代码语言：javascript复制
tar -zxvf /opt/softwares/jdk-8u301-linux-x64.tar.gz -C /opt/modules/

3) 添加JDK环境变量JAVA_HOME

修改配置文件 /etc/profile

代码语言：javascript复制
sudo vim /etc/profile

追加环境变量配置

代码语言：javascript复制
##JAVA_HOME
export JAVA_HOME="/opt/modules/jdk1.8.0_301"
export PATH=$PATH:$JAVA_HOME/bin

4) 执行以下命令使配置生效

代码语言：javascript复制
source /etc/profile

5) 检查是否完成安装及配置

图3-2-5：检查JDK是否完成安装及配置

3.安装Hadoop

1) 使用WinSCP将下载的Hadoop压缩包上传到 /opt/softwares 目录

2) 将Hadoop压缩包解压到 /opt/modules 目录下

代码语言：javascript复制
tar -zxvf /opt/softwares/hadoop-2.10.1.tar.gz -C /opt/modules/

3) 添加Hadoop环境变量HADOOP_HOME

修改配置文件 /etc/profile

代码语言：javascript复制
sudo vim /etc/profile

追加环境变量配置

代码语言：javascript复制
##HADOOP_HOME
export HADOOP_HOME="/opt/modules/hadoop-2.10.1"
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4) 执行以下命令使配置生效

代码语言：javascript复制
source /etc/profile

5) 检查是否完成安装及配置

图3-3-5：检查是否完成安装及配置

下一期：Hadoop部署配置及运行调试，敬请期待！

jdk hadoop nat NAT网关 网络安全

0 人点赞