Doris FE源码解读系列之源码编译踩坑！！！

2022-05-17 16:22:06 浏览数 (1)

一、前言

最近在学习Doris FE源码，按照Doris官网开发者手册下载源码时，出现了很多问题，比如Jar包无法加载、编译项目报错、Thrift 插件无法引用等等，导致卡壳时间太久，所以总结如下经验分享给大家，避免大家在同样问题花大量时间去解决。

Apache Doris官方文档：

代码语言：javascript复制
https://doris.apache.org/zh-CN/developer-guide/fe-idea-dev.html#_4-设置环境变量

二、环境

  • 电脑配置：Macbook Pro(Inter i5,Mac OS版本：12.2.1)
  • JDK：1.8
  • Maven：3.6.1
  • Idea：2021.03.03
  • Scala:2.12.2
  • Thrift:0.13.0
  • Doris:1.0.0

三、详细步骤

1、下载源码

Doris官网提供多种方式编译，Idea、Eclipse、Vscode等等，下面我们采用Idea来运行源码。

我们可以通过GitHub或者Idea VCS两种方式下载源码。

（1）GitHub下载源码 Doris GitHub 链接：https://github.com/apache/incubator-doris

  • 通过浏览器打开链接
  • 下载源码

源码下载完成之后，把源码解压到Idea的workspace即可。

（2）Idea VCS下载源码

  • 打开Idea
  • 点击右上角 “从VCS获取” 按钮
  • 输入Doris Git地址

Doris Git地址:https://github.com/apache/incubator-doris.git

等待Idea从GitHub获取完整代码。

2、安装Thrift

  • 查看电脑是否安装Thrift

在Mac终端输入命令：brew info Thrift@0.13.0 (PS:如果没有安装brew命令，可以自行百度如何安装)

❝安装 thrift 0.13.0 版本(注意：Doris 0.15 以上 和最新的版本基于 thrift 0.13.0 构建, 之前的版本依然使用thrift 0.9.3 构建) ❞

  • 安装Thrift 0.13.0

输入命令：brew install thrift@0.13.0

❝注：MacOS执行 brew install thrift@0.13.0 可能会报找不到版本的错误，解决方法如下，在终端执行：

  • brew tap-new $USER/local-tap
  • brew extract --version='0.13.0' thrift $USER/local-tap
  • brew install thrift@0.13.0

「注：留意Thrift安装的位置！！！！」

❞

  • 验证Thrift安装

输入命令：thrift -version

3、Maven 环境配置

（1）Idea打开Doris源码，等待Maven加载pom文件依赖

❝注：我这是使用的是IDEA默认的maven仓库，很多JAR包都加载不出来。 ❞

（2）将Thrift文件复制到Doris源码目录下的thirdparty文件夹

  • 首先在thirdparty文件夹下创建/installed/bin
  • 找到Thrift安装位置，复制文件到 Doris源码/thirdparty/installed/bin，执行命令：
代码语言：javascript复制
cp /usr/local/Cellar/thrift@0.13.0/0.13.0/bin/thrift /Users/apple/Workspaces/Doris源码_1.0.0/thirdparty/installed/bin/
  • 查看文件是否复制
  • 设置 maven 配置或者系统环境变量 （1）maven 配置

❝左上角 IntelliJ IDEA ==> Perferences ❞

❝设置doris.thrift变量值 ❞

（2）系统环境配置

  • 终端输入命令：sudo vi ~/.bash_profile
  • 添加 DORIS_THRIFT 变量，value是「thirdparty」文件夹绝对路径
  • 编辑完成之后保存文件
  • 终端输入命令：source ~/.bash_profile

4、源码编译

  • 先编译fe-common 项目
  • 解决报错：Unable to find: checkstyle-apache-header.txt
  • 再次 install fe-common项目，又遇见报错：
代码语言：javascript复制
Failed to execute goal org.apache.maven.plugins:maven-gpg-plugin:1.6:sign (sign-release-artifacts) on project fe-common: Unable to execute gpg command: Error while executing process. Cannot run program "gpg": error=2, No such file or directory -> [Help 1]

「解决方式」：在fe-common.pom加入org.apache.maven.plugins依赖：

代码语言：javascript复制
<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-gpg-plugin</artifactId>
    <version>1.6</version>
    <configuration>
        <skip>true</skip>
    </configuration>
</plugin>
  • 继续编译fe-common项目
  • 编译spark-dpp 项目

如果出现该报错：

代码语言：javascript复制
Failed to execute goal org.apache.maven.plugins:maven-gpg-plugin:1.6:sign (sign-release-artifacts) on project fe-common: Unable to execute gpg command: Error while executing process. Cannot run program "gpg": error=2, No such file or directory -> [Help 1]

在spark-dpp.pom 文件添加 org.apache.maven.plugins依赖：

代码语言：javascript复制
<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-gpg-plugin</artifactId>
    <version>1.6</version>
    <configuration>
        <skip>true</skip>
    </configuration>
</plugin>
  • 编译 fe项目

「编译fe项目的目的是生成 fe-core target文件，不能直接编译fe-core，因为fe-core依赖fe部分文件，所以我们需要先编译fe项目」

5、启动fe-core项目

  • 创建文件夹logs、webroot、logs、doris-meta
  • 设置fe-core启动类变量

变量设置：

代码语言：javascript复制
JAVA_OPTS=-Xmx1024m;
DORIS_HOME=/Users/apple/Workspaces/Doris源码_1.0.0;
PID_DIR=/Users/apple/Workspaces/Doris源码_1.0.0/fe;
LOG_DIR=/Users/apple/Workspaces/Doris源码_1.0.0/fe/logs
  • 启动 fe-core

四、总结

使用IDEA编译Apache Doris FE源码过程中，出现了很多报错，我进行了总结：

代码语言：javascript复制
Failed to execute goal org.apache.maven.plugins:maven-gpg-plugin:1.6:sign (sign-release-artifacts) on project fe-common: Unable to execute gpg command: Error while executing process. Cannot run program "gpg": error=2, No such file or directory -> [Help 1]

❝解决方式：缺少maven-gpg-plugin依赖，在pom文件添加即可，配置文件如下： ❞

代码语言：javascript复制
<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-gpg-plugin</artifactId>
    <version>1.6</version>
    <configuration>
        <skip>true</skip>
    </configuration>
</plugin>
代码语言：javascript复制
Unable to find: checkstyle-apache-header.txt

❝解决方式：checkstyle-apache-header.txt文件的路径不对，如下 图： ❞

代码语言：javascript复制
thrift did not exit cleanly. Review output for more information.

❝解决方式：thrift文件的路径不对，请看Maven环境配置章节！ ❞

代码语言：javascript复制
Module 'fe-core' production : java.lang.OutOfMemoryError: GC overhead limit exceeded

❝解决方式：Maven的编译器内存不够，添加内存即可，如图 ❞

打包 macos maven github apache

0 人点赞