Hive集成Tez让大象飞起来

2018-05-14 14:53:49 浏览数 (1)

基础环境 Apache Hadoop2.7.1 Centos6.5 Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Hive1.2.1 Apache Tez0.7.0 Apache Pig0.15.0 Apache oozie4.2.0 Apache Spark1.6.0 Cloudrea Hue3.8.1 安装Tez,请参考上篇文章:http://qindongliang.iteye.com/blog/2271440 安装成功之后,在hadoop/etc/hadoop/下面新建一个tez-site.xml,并配置tez的lib路径: Java代码

  1. <configuration>
  2. <property>
  3. <name>tez.lib.uris</name>
  4. <value>/user/tez</value>
  5. </property>
  6. </configuration>

然后执行命令hadoop fs -mkdir -p /user/tez 在HDFS上创建tez的目录 接着执行hadoop fs -copyFromLocal tezlib/* /user/tez上面tez相关的所有jar到HDFS对应的路径下 有一点需要注意,在实际交替运行pig on tez 和hive on tez时,发现hive报了一个异常:

博客地址:http://qindongliang.iteye.com/ 原始是tez编译出来的这个jar包,与hadoop的里面jar大小不一致,所以就报这个异常了,解决办法,统一按照hadoop里面这个jar包大小运行即可 另外一点需要注意的是,如果集群中装有压缩功能,lzo或者snappy那么也需要将相关的jar包传到/user/tez里面

设置tez模式,然后查询: set hive.execution.engine=tez; 启动相关服务,在hue里面查询 bin/hive --service metastore bin/hiveserver2 而且,结果还支持图表展示:

0 人点赞