大数据环境搭建

2022-04-06 18:40:01 浏览数 (1)

前言

本文环境软件版本

  • JDK：1.8.0_221
  • Hadoop：2.7.7
  • Spark：2.1.1
  • Scala：2.11.8

虚拟机设置

固定服务器IP

进入到系统的IP地址保存文件所在目录

代码语言：javascript复制
cd /etc/sysconfig/network-scripts

修改保存IP信息的文件

你机器上的名字有可能不是这个，但是是以ifcfg-e开头的文件

代码语言：javascript复制
vi ifcfg-ens33

修改

代码语言：javascript复制
BOOTPROTO=dhcp

为

代码语言：javascript复制
BOOTPROTO=static

添加IP配置

代码语言：javascript复制
IPADDR=192.168.160.128
NETMASK=255.255.255.0
GATEWAY=192.168.160.1
DNS1=223.5.5.5

重启网络

代码语言：javascript复制
service network restart

查看IP地址

代码语言：javascript复制
ip addr

设置DNS

代码语言：javascript复制
vi /etc/resolv.conf

设置

代码语言：javascript复制
search localdomain
nameserver 192.168.160.2

注意

这里DNS服务器可以设置为网关的地址，也可以是公网的DNS服务器IP

安装JDK

官方下载JDK 网址

或者 链接:https://pan.baidu.com/s/1JdPCMMEq178hXV5V4Ild3Q 密码:03l1

比如下载的文件为jdk-8u221-linux-x64.rpm

更改文件权限

代码语言：javascript复制
chmod 755 jdk-8u221-linux-x64.rpm

安装

代码语言：javascript复制
rpm -ivh jdk-8u221-linux-x64.rpm

安装后的路径为/usr/java/jdk1.8.0_221-amd64

删除文件

代码语言：javascript复制
rm -rf jdk-8u221-linux-x64.rpm

查询Java版本

代码语言：javascript复制
java -version

查看JAVA_HOME

代码语言：javascript复制
echo $JAVA_HOME

为空的话要配置java-home 否则无法配置Tomcat为服务

打开文件/etc/profile

代码语言：javascript复制
vi /etc/profile

在profile文件末尾加入：

代码语言：javascript复制
export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64 
export PATH=$JAVA_HOME/bin:$PATH   
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

配置立即生效

代码语言：javascript复制
source /etc/profile

再次查看JAVA_HOME

代码语言：javascript复制
echo $JAVA_HOME

配置SSH

配置ssh，无密码登录

代码语言：javascript复制
cd ~/.ssh
#生成秘钥，之后一路回车即可，不需要输入任何内容。我之前已经生成过，所以提示是否overwrite。如果是第一次生成，不会有这个提示。
ssh-keygen -t rsa
#将公钥复制到制定文件
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 
#测试ssh连接，首次连接需要输入yes，但不需要输入密码，之后不需要输入yes，如果能不输入密码连接，就配置成功了
ssh localhost

如果Connection refused，可以执行

代码语言：javascript复制
sudo systemsetup -f -setremotelogin on
# 执行
ssh localhost

Hadoop

下载

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/

服务器中运行

代码语言：javascript复制
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

或者使用百度云下载

链接：https://pan.baidu.com/s/1OPzD9V_mBnBz06JQ3X5DSA 提取码：psvm

解压

代码语言：javascript复制
tar -zxvf hadoop-2.7.7.tar.gz
mkdir /data/tools/bigdata/
mv hadoop-2.7.7 /data/tools/bigdata/
cd /data/tools/bigdata/hadoop-2.7.7

修改配置文件

进入配置文件目录

代码语言：javascript复制
cd /data/tools/bigdata/hadoop-2.7.7/etc/hadoop

hadoop-env.sh

将原本的JAVA_HOME 替换为绝对路径就可以了

代码语言：javascript复制
#export JAVA_HOME=${JAVA_HOME}

export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64

注意

虽然系统已经设置JAVA_HOME,但是运行时依旧无法找到，所以配置的绝对路径

core-site.xml

代码语言：javascript复制
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/data/tools/bigdata/hadoop-2.7.7/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml

代码语言：javascript复制
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>    
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/data/tools/bigdata/hadoop-2.7.7/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/data/tools/bigdata/hadoop-2.7.7/tmp/dfs/data</value>
    </property> 
</configuration>

mapred-site.xml

代码语言：javascript复制
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

代码语言：javascript复制
<?xml version="1.0"?>
<configuration>
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property>
    <property> 
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

剔除警告（可选）：

log4j.properties

添加

代码语言：javascript复制
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

启动/停止

代码语言：javascript复制
sudo chmod -R 755 /data/tools/bigdata/hadoop-2.7.7/

rm -rf /data/tools/bigdata/hadoop-2.7.7/tmp

cd /data/tools/bigdata/hadoop-2.7.7
./bin/hadoop namenode –format

cd /data/tools/bigdata/hadoop-2.7.7/
sh sbin/start-all.sh

输入

代码语言：javascript复制
jps

如图

访问

我的服务器的IP为 192.168.160.128

HDFS监控页面查询：

http://192.168.160.128:50070/

Yarn监控页面查询：

http://192.168.160.128:8088/cluster

端口说明：

port 8088: cluster and all applications

port 50070: Hadoop NameNode

port 50090: Secondary NameNode

port 50075: DataNode

停止所有服务

代码语言：javascript复制
cd /data/tools/bigdata/hadoop-2.7.7/
sh sbin/stop-all.sh
tcp/ip xml hadoop dns jdk

0 人点赞