基本介绍
Apache Tez是构建于Apache Hadoop YARN上，基于有向无环图进行数据处理的框架。
主要设计主题：
- 授权终端用户
- 表达性数据流定义API
- 灵活的输入处理输出运行模型
- 数据类型无关
- 极易部署
- 执行性能
- 优于mapreduce
- 优化资源管理
- 运行时计划重新配置
- 动态物理数据流决策
通过允许像Apache Hive和Apache Pig这样的项目运行复杂的DAG任务，Tez可以用来处理数据，以前需要多个MR任务，现在只需要一个Tez任务，如下所示。
下载地址
https://tez.apache.org/releases/index.html
安装部署
版本适配
对于Tez版本0.8.3和更高，Tez需要Apache Hadoop版本2.6.0或更高。对于Tez版本0.9.0及更高版本，Tez需要Apache Hadoop版本2.7.0或更高。所以说，我们在选用tez时，是需要先确定我们的hadoop版本的。
适配hadoop版本进行tez源码编译
编译平台
操作系统：centos 7.6
CPU架构：x86_64
依赖安装
- 首先确保已经安装
- jdk8
- maven3
protobuf-2.5.0安装
代码语言：javascript复制yum install protobuf protobuf-develCopy源码编译
在确定我们使用的hadoop版本之后，选择合适的tez进行源码编译。这边以
- tez-0.9.2
- hadoop-3.2.0
为例对tez进行源码编译。
源码下载与解压
代码语言：javascript复制wget https://mirror.olnevhost.net/pub/apache/tez/0.9.2/apache-tez-0.9.2-src.tar.gz
tar zxvf apache-tez-0.9.2-src.tar.gz
Copy源码编译
代码语言：javascript复制cd apache-tez-0.9.2-src && mvn clean package -Dtar -Dhadoop.version=3.2.0 -DskipTestsCopy编译完成之后，得到tez-dist/target/tez-0.9.2.tar.gz
功能测试
首先确保hadoop正常安装，包括hdfs和yarn
参考：如何安装hadoop yarn
将tez-0.9.2.tar.gz上传到hdfs的/app/tez目录
代码语言：javascript复制hdfs dfs -put tez-0.9.2.tar.gz /app/tez/
Copy新建tez目录，并将tez-0.9.2.tar.gz复制到tez钟
代码语言：javascript复制mkdir -p /data/tez/conf
cp tez-0.9.2.tar.gz /data/tez
cd /data/tez && tar zvf tez-0.9.2.tar.gzCopy新建tez-site.xml，内容如下
代码语言：javascript复制<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License. See accompanying LICENSE file.
-->
<configuration>
<property>
<name>tez.lib.uris</name>
<value>/app/tez/tez-0.9.2.tar.gz</value>
</property>
</configuration>
Copy修改/etc/profile，新增
代码语言：javascript复制export TEZ_CONF_DIR=/data/tez/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_CONF_DIR:/data/tez/*:/data/tez/lib/*Copy修改mapred-site.xml，将
代码语言：javascript复制 <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>Copy改为
代码语言：javascript复制 <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>Copy执行测试脚本：
代码语言：javascript复制hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /test/ output-1Copy得到结果：
本文为从大数据到人工智能博主「xiaozhch5」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://cloud.tencent.com/developer/article/1936514
