大家好，又见面了，我是你们的朋友全栈君。 hadoop与大数据的关系? 大数据技术正渗透到各行各业。作为数据分布式处理系统的典型代表，Hadoop已成为该领域的事实标准。但Hadoop并不等于...

为了实现两个数据库之间的数据交换，企业级有ODI等，此处尝试DataX做小型数据交换。

课件获取：关注公众号 “数栈研习社”，后台私信 “ChengYing” 获得直播课件

终于又可以名正言顺的发一篇聊天吹水。。。哦不是，是技术杂谈类的文章了，官方有活动？那必须跟上啊！咳~那么闲言少叙，下面是食用须知：

hive 底层是mapreduce，因此也很慢，但是它可以通过sql语句做方便操作在离线处理方面可以做数据分析。

Spark SQL比Hadoop Hive快，是有一定条件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎还比Spark SQL的引擎更快。

项目大致过程是：flume监控日志文件，定时把文件清洗后上传到hdfs上，上传清晰后的数据是格式化的，可被hive识别，然后hive创建表，写脚本，执行hql语句，把执行结果写到hdfs上，最后为了方便查看，把放在hdfs上的结果通过sqoop放在mysql...

#step1: create hive table 't_test' hive -e "create table test.t_user(id int,name string,age int)row format delimitedfields terminated by 't';"

1.概述 　　在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。

1.2.2 DWM 轻度汇总层(MID或DWB, data warehouse basis)