如何编译Livy并在非Kerberos环境的CDH集群中安装

2018-04-01 21:07:18 浏览数 (1)

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢

1.文档编写目的

在前面的文章Fayson介绍了《Livy，基于Apache Spark的开源REST服务，加入Cloudera Labs》，由于Cloudera暂未将Livy服务打包集成到CDH，所以需要我们自己编译安装，本篇文章主要介绍如何通过Maven编译Livy并在非Kerberos环境的CDH集群中安装。

  • 内容概述

1.编译环境准备

2.Livy配置及配置Livy用户模拟

3.Livy服务启动

  • 测试环境

1.CM和CDH版本为5.14.0

2.Livy版本为0.4

  • 前置条件

1.集群未启用Kerberos

2.环境准备及描述

IP

HOSTNAME

描述

172.31.7.172

ip-172-31-7-172.fayson.com

部署Livy服务节点

172.31.30.69

ip-172-31-30-69.ap-southeast-1.compute.internal

Livy编译节点

1.配置Java环境变量，这里我们使用CDH集群自带的JDK

在/etc/profile文件中增加如下配置：

代码语言：txt复制
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera/
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATH

（可左右滑动）

2.安装Maven并配置环境变量

下载Maven：

代码语言：txt复制
[ec2-user@ip-172-31-30-69 ~]$ sudo wget http://apache.forsale.plus/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz

（可左右滑动）

将Maven解压到指定目录

代码语言：txt复制
[ec2-user@ip-172-31-30-69 ~]$ sudo tar -zxvf apache-maven-3.5.2-bin.tar.gz -C /usr/local/

（可左右滑动）

配置Maven环境变量，在/etc/profile文件末尾增加如下内容：

代码语言：txt复制
export MVN_HOME=/usr/local/apache-maven-3.5.2
export PATH=$MVN_HOME/bin:$PATH

（可左右滑动）

3.安装及配置R和Python环境变量

这里R和Python的安装及配置这里就不多讲了，可以参考Fayson前面的文章《如何在Redhat中配置R环境》和《如何在CDH集群安装Anaconda&搭建Python私有源》。

4.执行命令使上述配置的环境变量生效并验证配置是否成功

代码语言：txt复制
[root@ip-172-31-30-69 ec2-user]# source /etc/profile

（可左右滑动）

Java环境

R环境

Python环境

5.从GitHub上下载livy源码

安装git工具

代码语言：txt复制
[root@ip-172-31-30-69 ec2-user]# yum -y install git

（可左右滑动）

执行git命令将livy源码下载至本地

代码语言：txt复制
[root@ip-172-31-30-69 ec2-user]# git clone https://github.com/cloudera/livy.git

（可左右滑动）

以上我们就准备好了livy的编译环境，接下来就开始编译livy源码

3.MAVN编译Livy

1.进入git clone下来的livy目录

代码语言：txt复制
[ec2-user@ip-172-31-30-69 ~]$ cd livy/

（可左右滑动）

2.在该目录下执行如下命令

代码语言：txt复制
[root@ip-172-31-30-69 livy]# export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
[root@ip-172-31-30-69 livy]# mvn package skipPySpark3Tests

（可左右滑动）

这里由于没有python3的环境，指定了skipPySpark3Test执行命令后开始编译，如下截图：

编译的过程会很漫长，等待编译完成即可。

如上图所示则表示编译成功，接下来进行Livy的配置。

4.Livy配置

1.将livy目录移动到/opt/cloudera目录下

代码语言：txt复制
[root@ip-172-31-7-172 ~]# mv livy/ /opt/cloudera/
[root@ip-172-31-7-172 ~]# cd /opt/cloudera/livy
[root@ip-172-31-7-172 livy]# pwd

（可左右滑动）

2.创建livy用户、log目录并将livy的home目录属主修改为livy:hadoop

代码语言：txt复制
[root@ip-172-31-7-172 livy]# useradd livy -g hadoop
[root@ip-172-31-7-172 livy]# mkdir /var/log/livy
[root@ip-172-31-7-172 livy]# mkdir /var/run/livy
[root@ip-172-31-7-172 livy]# chown livy:hadoop /var/log/livy
[root@ip-172-31-7-172 livy]# chown livy:hadoop /var/run/livy
[root@ip-172-31-7-172 livy]# chown -R livy:hadoop /opt/cloudera/livy/
[root@ip-172-31-7-172 livy]# ll /opt/cloudera/

（可左右滑动）

3.在/opt/cloudera/livy/conf目录下创建livy.conf、livy-env.sh、spark-blacklist.conf配置文件

代码语言：txt复制
[root@ip-172-31-7-172 livy]# cd conf/
[root@ip-172-31-7-172 conf]# scp livy-env.sh.template livy-env.sh
[root@ip-172-31-7-172 conf]# scp spark-blacklist.conf.template spark-blacklist.conf
[root@ip-172-31-7-172 conf]# scp livy.conf.template livy.conf
[root@ip-172-31-7-172 conf]# chown livy:hadoop livy.conf livy-env.sh spark-blacklist.conf
[root@ip-172-31-7-172 conf]# ll

（可左右滑动）

4.修改livy.conf配置文件，在文件末尾增加如下内容

代码语言：txt复制
livy.spark.master = yarn
livy.spark.deployMode = cluster
livy.environment = production
livy.impersonation.enabled = true
livy.server.csrf_protection.enabled true
livy.server.port = 8998
livy.server.session.timeout = 3600000
livy.server.recovery.mode = recovery
livy.server.recovery.state-store=filesystem
livy.server.recovery.state-store.url=/tmp/livy

（可左右滑动）

a)配置Spark作业提交模式

b)配置livy启用模拟用户提交作业

c)配置livy恢复模式（默认为空、支持FileSystem本地文件系统及HDFS文件系统、Zookeeper）

5.修改livy-env.sh配置文件，增加Haoop和Spark的配置信息，内容如下：

代码语言：txt复制
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export SPARK_CONF_DIR=/etc/spark/conf
export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf
export LIVY_LOG_DIR=/var/log/livy
export LIVY_PID_DIR=/var/run/livy
export LIVY_SERVER_JAVA_OPTS="-Xmx2g"

（可左右滑动）

配置HADOOP、SPARK、JAVA等环境变量。

6.修改spark-blacklist.conf内容如下：

代码语言：txt复制
[root@ip-172-31-30-69 conf]# vim spark-blacklist.conf
#
# Configuration override / blacklist. Defines a list of properties that users are not allowed
# to override when starting Spark sessions.
#
# This file takes a list of property names (one per line). Empty lines and lines starting with "#"
# are ignored.
#
# Disallow overriding the master and the deploy mode.
spark.master
spark.submit.deployMode
# Disallow overriding the location of Spark cached jars.
spark.yarn.jar
spark.yarn.jars
spark.yarn.archive
# Don't allow users to override the RSC timeout.
livy.rsc.server.idle-timeout

（可左右滑动）

5.修改Hadoop配置

1.登录CM进入HDFS服务的配置项

2.在“core-site.xml 的群集范围高级配置代码段（安全阀）”配置项增加如下内容

代码语言：txt复制
<property>
    <name>hadoop.proxyuser.livy.groups</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.livy.hosts</name>
    <value>*</value>
</property>

（可左右滑动）

3.在HDFS上创建livy的home目录

代码语言：txt复制
[root@ip-172-31-7-172 conf]# sudo -u hdfs hadoop fs -mkdir /user/livy
[root@ip-172-31-7-172 conf]# sudo -u hdfs hadoop fs -chown livy:supergroup /user/livy
[root@ip-172-31-7-172 conf]# sudo -u hdfs hadoop fs -ls /user

（可左右滑动）

回到CM主页根据提示重启相应服务，到此就完成Livy的安装及CDH的集成。

6.Livy服务启停

1.启动Livy服务

代码语言：txt复制
[root@ip-172-31-7-172 ~]# sudo -u livy /opt/cloudera/livy/bin/livy-server start

（可左右滑动）

查看服务是否已启动

代码语言：txt复制
[root@ip-172-31-7-172 ~]# lsof -i:8998
[root@ip-172-31-7-172 ~]# netstat -apn |grep 8998
[root@ip-172-31-7-172 ~]# ps -ef |grep 13397

（可左右滑动）

2.停止Livy服务

代码语言：txt复制
[root@ip-172-31-7-172 ~]# sudo -u livy /opt/cloudera/livy/bin/livy-server stop

（可左右滑动）

可以通过浏览器可以查看Livy的Web界面。

到此为止就完成了Livy源码编译、安装与非Kerberos环境下的CDH集群集成。

7.总结

  • 部署Livy的节点需要安装CDH的GateWay工具
  • Livy工程的编译的依赖环境需要配置否则在编译时会报错，具体可以参考如下：

https://github.com/cloudera/livy

https://github.com/apache/incubator-livy

提示：代码块部分可以左右滑动查看噢 为天地立心，为生民立命，为往圣继绝学，为万世开太平。 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操

kerberos github https apache

0 人点赞