在很多情况下，会需要将批量生成（如按天生成的记录）导入到HIVE中。针对这种应用场景，进行实验。

由于HIVE更新的机制极其不适应SPARK环境，于是利用HBase来执行HIVE中某些统计结果的更新。首先要做的是实现Spark + Hive访问，得到RDD，再将这个RDD导入到HBase中操作。 然而网上关于这一块目前资料还真很少。但是其原理...

数据更新是一种常见的操作，然后数据仓库的概念一般要求的是数据是集成、稳定的。HIVE作为一种分布式环境下以HDFS为支撑的数据仓库，它同样更多的要求数据是不可变的。 然而现实很多任务中，往往需要对数据进行更新操作，...

利用Eclipse进行Spark开发过程中，特别是针对Hive开发时，经常会碰到这样一个问题，就是无法找到metastore。而一旦找不到的时候，hive会自动创建一个临时的本地的metastore，其提示INFO信息如下：...

将date存成timestamp有个比较好的好处，是比较的效率肯定会高很多，而且也是目前HIVE能够支持的方式。

关于HIVE中文乱码问题的解决办法，网上有很多帖子，然而很多都是基于LINUX终端显示字符的修改，其实上对于一些条件下的HIVE中文乱码问题是无法解决的，如从CSV文件导入到HIVE中出现的中文乱码问题。...

Spark SQL on Hive是Shark的一个分支，是HIVE执行分析引擎的一个重要利器。在Spark 1.5.1的时候，可以非常简单地在spark shell中进行Hive的访问，然而到了Spark 1.5.2时，发现进入Spark Shell的时候，总是出现报错，其原因总是无...

以往很多系统经常用的是oracle数据库，在大数据环境下，许多应用都是去IOE的，那么其中老旧数据的迁移或者测试就是其中一块。

在利用spark sql on hive的过程中，访问Mysql总是报错，其报错的日志总是显示：

在编写spark程序的过程中，如果以master=local的方式是可以正常搞定的，然而如果将master设置为spark集群的方式则总是报各种错，通过源码查看，主要是AKKA通信与序列化之间的问题，而其核心原因是scala版本不匹配的问题。默认...