hudi 0.10.0-SNAPSHOT适配hdp 3.1.5编译

新增hdp仓库

在项目根目录下的pom文件中新增：

代码语言：javascript复制

    <repository>
      <id>hdp</id>
      <url>https://repo.hortonworks.com/content/repositories/releases/</url>
    </repository>Copy

其他pom文件修改

hive-jdbc依赖的hadoop-yarn-server-resourcemanager版本为SNAPSHOT，在仓库中都找不到，将其修改为使用项目指定的版本。

具体有如下子项目：

• hudi-hadoop-mr中的hive-jdbc依赖
• hudi-utilities-bundle中的hive-jdbc依赖
• hudi-integ-test-bundle中的hive-jdbc依赖

排除掉

代码语言：javascript复制

      <exclusions>
        <exclusion>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-yarn-server-resourcemanager</artifactId>
        </exclusion>
      </exclusions>Copy

新增

代码语言：javascript复制

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-yarn-server-resourcemanager</artifactId>
      <version>${hadoop.version}</version>
    </dependency>Copy

编译时部分jar包在仓库中找不到或下载慢，可以从原始rpm包中将其拷贝到编译的机器，并安装到本地，例如下述jar包，例如hive-jdbc-3.1.0.3.1.4.0-315-standalone.jar等。

编译命令

代码语言：javascript复制

mvn clean install -DskipTests -Dhadoop.version=3.1.1.3.1.4.0-315 -Dhive.version=3.1.0.3.1.4.0-315 -Dscala.version=2.12.10 -Dscala.binary.version=2.12 -Dspark.version=3.0.1Copy

结果

本文为从大数据到人工智能博主「xiaozhch5」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://cloud.tencent.com/developer/article/1936521

jdbc hive jar hadoop 打包

0 人点赞