大数据-各组件之间的版本兼容关系

2023-09-29 09:01:12 浏览数 (2)

前言

查看版本

认证

认证

代码语言：javascript复制
kinit -kt /data/kerberos/kerberos.keytab hdfs/hdp01@HADOOP.COM

查看认证状态

代码语言：javascript复制
klist

JDK

代码语言：javascript复制
java -version

Zookeeper

代码语言：javascript复制
zkCli.sh -server hdp01:2181
version

Hadoop

代码语言：javascript复制
hadoop version

Flink

代码语言：javascript复制
flink -v

Hive

代码语言：javascript复制
hive

Hbase

代码语言：javascript复制
hbase version

版本之间的兼容性

Hadoop和Hbase

hadoop版本

hbase版本

Hadoop-2.7.1

HBase-1.4.x

Hadoop-2.8.5

HBase-1.6.xHBase-2.2.x

Hadoop-2.9.2

HBase-1.6.xHBase-2.2.x

Hadoop-2.10.x

HBase-1.6.xHBase-1.7.xHBase-2.3.x

Hadoop-3.1.1

HBase-2.2.xHBase-2.3.x

Hadoop-3.2.x

HBase-2.2.xHBase-2.3.x

Phoenix与HBase的兼容性

下载

http://archive.apache.org/dist/phoenix/phoenix-5.1.2/

依赖

代码语言：javascript复制
<!--Phoenix-->
<dependency>
    <groupId>org.apache.phoenix</groupId>
    <artifactId>phoenix-core</artifactId>
    <version>${phoenix.version}</version>
</dependency>

<dependency>
    <groupId>org.apache.phoenix</groupId>
    <artifactId>phoenix-hbase-compat-${hbase.version}</artifactId>
    <version>${phoenix.version}</version>
</dependency>

兼容的版本

部署的各个服务及版本

服务

版本

说明

JDK

8u221

JDK8是其他服务启动的基础

Zookeeper

3.7.1

状态保存

Hadoop

2.7.7

较新的版本不太好找找其他服务的兼容版本

Flink

1.12.7

做大数据计算

Hive

2.1.0

数仓使用

Hbase

2.1.10

查询高效的数据库

Phonenix

5.1.2

SQL方式操作Hbase

pom中配置

代码语言：javascript复制
<properties>
    <maven.compiler.source>8</maven.compiler.source>
    <maven.compiler.target>8</maven.compiler.target>
    <hadoop.version>2.7.7</hadoop.version>
    <hive.version>2.1.0</hive.version>
    <flink.version>1.12.7</flink.version>
    <scala.binary.version>2.12</scala.binary.version>
    <!--这个不是所有的版本都有 2.1.6是兼容2.1.10的-->
    <hbase.version>2.1.6</hbase.version>
    <phoenix.version>5.1.2</phoenix.version>

    <!-- 文件拷贝时的编码 -->
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <!-- 编译时的编码 -->
    <maven.compiler.encoding>UTF-8</maven.compiler.encoding>
</properties>
大数据 version 编码 服务 兼容性

0 人点赞