ResultSet.next其实是取一条就跟数据库通讯拿一条数据，并不是全部取出放在内存，因为ResultSet.next之前，是获取了数据库连接的，数据库连接断开，你就获取不到数据了，说明是有通讯的。...
当前业界在做物化视图增量更新时，物化视图一般会存储在一张分区表中，以分区为粒度进行增量、刷新、删除；不然就需要生成大量的物化视图元数据或每次都要重新计算历史所有的物化数据，成本是巨大的。上述物化视图的增量为基...
大家好，我是Maynor。相信大家和我一样，都有一个大厂梦，作为一名资深大数据选手，深知SQL重要性，接下来我准备用100天时间，基于大数据岗面试中的经典SQL题，以每日1题的形式，带你过一遍热门SQL题并给出恰如其分的解答。...
etl-engine支持None和Kerberos认证方式，适合测试环境及企业应用中的认证场景。
hive是基于大数据开发的一组用于数据仓库的api，其主要功能是将HQL(HIVE SQL)转换成MapReduce执行。所以对hive的优化几乎等于对MapReduce的优化，主要在io和数据倾斜方面进行优化。...
Spark SQL支持对Hive中存储的数据进行读写。操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及用HiveQL语法编写SQL的功能。除了sql()方法，H...
Spark 1.0版本开始，推出了Spark SQL。其实最早使用的，都是Hadoop自己的Hive查询引擎；但是后来Spark提供了Shark；再后来Shark被淘汰，推出了Spark SQL。Shark的性能比Hive就要高出一个数量级，而Spark SQL的性能又比Shark高出...
通过mapreduce清洗数据绑定到hive，再通过hive查询出结果集导入到hive的表，再通过sqoop导出到mysql
retries --> 任务失败时自动重启的次数 retry.backoff --> 每一次任务尝试重启时之间等待的毫秒数 working.dir --> 可以重新指定任务执行的工作目录，默认为目前正在运行的任务的工作目录 failure.emails --> 任务失败...
