db.png什么是Hive？
- Hive是在Hadoop分布式文件系统上运行的开源分布式数据仓库数据库，用于查询和分析大数据。
- 数据以表格的形式存储(与关系型数据库十分相似)。数据操作可以使用名为HiveQL的SQL接口来执行。
- HiveQL默认情况下会转换成MapReduce进行计算（降低了开发难度），所以比较慢，常用于做离线数据分析场景，不适合做实时查询。
为什么选择Hive？
- Hive是运行在Hadoop上的SQL接口。此外，它还降低了使用MapReduce框架编程的复杂性。
- Hive帮助企业在HDFS上执行大规模数据分析，使其成为一个水平可伸缩的数据库。
- 通过HiveSQL使具有RDBMS背景的开发人员能够快速构建符合自己业务需求的数据仓库。
- Hive直接将数据存储在HDFS系统中，扩容等事宜都交由HDFS系统来维护。
如何将Hive中的分析数据导到业务系统中？
etl-engine支持对Hive的读取，并输出到以下目标数据源：
- 消息中间件（Kafka | RocketMQ）;
- 关系型数据库（ Oracle | MySQL | PostgreSQL | Sqlite）;
- NoSQL（Elasticsearch | Redis）;
- 时序数据库（ InfluxDB | ClickHouse | Prometheus）;
- 文件（ Excel ）；
etl-engine支持None和Kerberos认证方式，适合测试环境及企业应用中的认证场景。
只需要二步 就完成 读Hive写DB操作
编写配置文件 hive_to_db.grf
代码语言：shell复制<?xml version="1.0" encoding="UTF-8"?>
<Graph>
<Node id="HIVE_READER_01" dbConnection="CONNECT_02"
type="HIVE_READER" desc="读Hive节点1" fetchSize="1000" >
<Script name="sqlScript"><![CDATA[
select uuid,name,height,writetime from db_hive_edu.t_u_info
]]></Script>
</Node>
<Node id="DB_OUTPUT_01" type="DB_OUTPUT_TABLE" desc="写数据表节点1" dbConnection="CONNECT_01" outputFields="uuid;name;height;writetime" renameOutputFields="uuid;name;height;writetime" >
<Script name="sqlScript"><![CDATA[
insert into db1.t_hive_u_info (uuid,name,height,writetime) values (?,?,?,?)
]]></Script>
</Node>
<Line id="LINE_01" type="STANDARD" from="HIVE_READER_01" to="DB_OUTPUT_01" order="0" metadata="METADATA_01"></Line>
<Metadata id="METADATA_01">
<Field name="uuid" type="int" default="-1" nullable="false"/>
<Field name="name" type="string" default="-1" nullable="false"/>
<Field name="height" type="float" default="-1" nullable="false"/>
<Field name="writetime" type="string" default="-1" nullable="false"/>
</Metadata>
<Connection id="CONNECT_02" dbURL="hadoop01:10000" database="db_hive_edu" username="Administrator" password="******" batchSize="1000" type="HIVE"/>
<Connection id="CONNECT_01" dbURL="127.0.0.1:3306" database="db1" username="root" password="******" batchSize="1000" type="MYSQL"/>
<!--
<Connection sortId="1" id="CONNECT_1" type="ORACLE" dbURL="127.0.0.1:1521" database="orcl" username="c##u1" password="******" />
-->
</Graph>执行命令
代码语言：shell复制 etl_engine -fileUrl hive_to_db.grf -logLevel debug如此简单就完成了 读 hive 数据表 、写 mysql 数据表 操作。
参考资料
代码语言：shell复制 [免费下载](https://github.com/hw2499/etl-engine/releases)
[etl-engine使用手册](https://github.com/hw2499/etl-engine)
[etl-crontab使用手册](https://github.com/hw2499/etl-engine/wiki/etl-crontab调度)
[嵌入脚本开发](https://github.com/hw2499/etl-engine/wiki/嵌入脚本开发)
