如何 debug Hive 源码，知其然知其所以然

2021-01-27 11:42:33 浏览数 (1)

最近在出差，客户现场的 HiveServer 在很长时间内不可用，查看 CM 的监控发现，HiveServer 的内存在某一时刻暴涨，同时 JVM 开始 GC，每次 GC 长达 1 分钟，导致很长时间内，整个 HiveServer 不可用。

查看 HiveServer 日志发现，在那个内存暴涨的时间点，执行了一个 select count(1) from table 的 SQL，这个表有 2 万多分区，而且执行了很多次。

但是我始终无法解释，这样简单的 SQL 执行过程是什么，MapReduce 的什么阶段产生的什么对象占用了 HiveServer 的内存。

（导致被客户鄙视了，囧！）

这个问题其实也很好解决，两条路可以齐头并进：

  • 一条路是把 HiveServer 那个时候的内存 dump 下来，分析一下里面究竟是什么东西；但这样无法看到具体执行流程是什么；
  • 第二条路是下载 Hive 源码，直接 Debug 执行过程，弄清楚了之后，就可以解释中间的过程了。

本文正是为 debug hive 源码准备的环境。

一、服务器环境准备

我是用的 virtual box，centos 7

配置 hosts

安装必要的包：

代码语言：javascript复制
yum install -y which dos2unix

二、Hadoop Standalone 环境搭建

下载一个 hadoop 发布包，地址是：

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/

下载这个文件

代码语言：javascript复制
hadoop-2.7.7.tar.gz

上传到服务器，并解压缩到本地，我的目录是 /my2/hadoop

配置环境变量

代码语言：javascript复制
vi /etc/profile

追加

代码语言：javascript复制
JAVA_HOME=/usr/local/jdk1.8.0_131
HADOOP_HOME=/my2/hadoop

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export PATH

刷新环境变量

代码语言：javascript复制
source /etc/profile

修改配置文件

（1）修改 etc/hadoop/hadoop-env.sh 文件

java 路径为上文构建 jdk 镜像中，Dockerfile 中写的路径

代码语言：javascript复制
export JAVA_HOME=/usr/local/jdk1.8

（2）修改 etc/hadoop/core-site.xml 文件

这里有个写死的项是主机名，我的是 hadoop001，修改成你自己的

代码语言：javascript复制
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop001:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/tmp</value>
        </property>
         <property>
                 <name>fs.trash.interval</name>
                 <value>1440</value>
        </property>
</configuration>

（3）修改 etc/hadoop/hdfs-site.xml 文件

代码语言：javascript复制
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

（4）修改 etc/hadoop/yarn-site.xml 文件

代码语言：javascript复制
<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property> 
                <name>yarn.log-aggregation-enable</name> 
                <value>true</value> 
        </property>
</configuration>

（5）修改 etc/hadoop/mapred-site.xml.template 文件

重命名为 mapred-site.xml ，内容修改如下：

代码语言：javascript复制
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

启动 hadoop

格式化 hdfs

代码语言：javascript复制
chmod -R 775 /my2/hadoop/*
/my2/hadoop/bin/hdfs namenode -format

启动 standalone 模式

代码语言：javascript复制
/my2/hadoop/sbin/start-all.sh

查看是否启动成功

代码语言：javascript复制
jps

image-20210117203128158

三、编译 Hive 源码

从 gitee 上 clone Hive 的代码

https://gitee.com/apache/hive

注意克隆之前一定要设置一下 git 换行符是否自动转换的

表示检出时 (clone)，不自动转换为 crlf （windows）格式，以免最终打出来的包，脚本的格式都是 windows 格式的，无法运行。

代码语言：javascript复制
git config --global core.autocrlf input

clone 到本地

代码语言：javascript复制
git clone git@gitee.com:apache/hive.git

切换到 2.1.0 分支

代码语言：javascript复制
git checkout rel/release-2.1.0

本地需要先编译一下整个工程，因为有些代码是用 antlr 自动生成的，编译之后，会产生对应的类。

这里必须指定 profile 为 hadoop-2 来支持 hadoop 2.x 版本

代码语言：javascript复制
mvn clean package -Phadoop-2 -DskipTests -Pdist

image-20210116161131896

编译完之后，在 packaging 包中会生成一个二进制包，这个包可以在服务器上运行的

image-20210117203723039

四、Hive 环境搭建

上传包并且解压缩，重命名解压缩后的目录为 hive

image-20210116222020761

使用 docker 启动 mysql （使用 Docker 比较方便，你也可以使用你自己的 Mysql）

代码语言：javascript复制
docker run -d -it --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=debezium -e MYSQL_USER=mysqluser -e MYSQL_PASSWORD=mysqlpw debezium/example-mysql

配置 hive-site.xml

代码语言：javascript复制
cd /my2/hive/conf
cp hive-default.xml.template hive-site.xml
vi hive-site.xml

打开发现里面每一行都有一个 ^M 字符，这是 windows 换行符导致的，使用 dos2unix 替换即可

代码语言：javascript复制
dos2unix hive-site.xml

编辑 hive-site.xml

代码语言：javascript复制
vi hive-site.xml

按 Esc，输入 /Connection (搜索 Connection)，把搜索到的这几个 key 的值，替换成下面的

代码语言：javascript复制
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>debezium</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://192.168.56.10:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>

复制 mysql 驱动到 hive 的 lib 目录下

初始化 metastore 的数据库

代码语言：javascript复制
/my2/hive/bin/schematool -dbType mysql -initSchema

接着 vi hive-site.xml，搜索 /user.name

代码语言：javascript复制
把 {system:java.io.tmpdir} 改成 /home/hadoop/hive/tmp/

把 {system:user.name} 改成 {user.name}

启动 Hive 命令行即可

代码语言：javascript复制
搜索 Connection

五、导入到 Idea 中 Debug

然后把源码导入 IDEA 中，等待 IDEA 完成。

这里的 Debug 很简单，我们在服务器上远程 Debug。

首先在服务器上执行

代码语言：javascript复制
hive --debug

image-20210117204324201

服务器显示在本机的 8000 端口等待连接

然后我们在 Idea 中配置一个远程 debug

image-20210117204425904

点击 Debug 按钮，就可以 Debug了。

主要是 Debug 一下 CLIDriver 的 main 方法，里面有一个 run 方法

image-20210117205731396

追踪到后面的源码，可以发现一直在等待用户的输入，每次输入之后，都会用 processLine 方法处理

image-20210117205824507

processLine 也就是 Hive 执行 SQL 主要逻辑了，熟读这块代码，便可看到 Hive 的核心逻辑。

具体的逻辑正在研究中，有成果了会发文，敬请期待。

hadoop xml hive 打包 windows

0 人点赞