Hadoop被公认是一套行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司，如EMC、Microsoft、Intel、Teradata、C...

Apache Spark是一个快速的通用集群计算框架 / 殷勤。它提供Java，Scala，Python和R中的高级API，以及支持常规执行图的优化引擎。它还支持一组丰富的更高级别的工具，包括Spark SQL用于SQL和结构化数据的处理，MLlib机器学习，Gra...

补充: 为什么 在 Hadoop 2.x 中 HDFS 中有 ZKFC 进程，而 yarn 却没有？ 在 Hadoop 1.x 升级到 Hadoop 2.x 的过程中，考虑到向下兼容的问题， NameNode 进程没有嵌入 ZKFC 中的代码，而另外开辟一个进程 ZKFC 。 再者由于 Hado...

1、在node3中的hive的配置文件hive-site.xml增加自己的zookeeper集群属性(仅此一步) node3是用于hive集群中用于启动元数据存储的节点hive --service metastore

在这里可以回顾一下Hadoop的相关知识: 1.x job tracker 既管资源调度又管任务分配 2.x 分为ResourceManager(资源分配)和DataManager(任务分配) 牢记Hadoop 1.x与2.x架构图...

Sqoop的输入输出/导入导出是相对于文件系统HDFS的, 因此HDFS的导入导出如图1,图2

当对Hive的VIEW执行SHOW CREATE TABLE时，结果输出只有部分，会被截断，这个表现在Hue，Beeline以及Hive CLI中都会存在，如下所示。

At GitHub Universe 2019[1], we introduced the GitHub Archive Program[2] along with the GitHub Arctic Code Vault[3]. Our mission is to preserve open source softw...

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统...

集合在数据库领域表示记录的集合。SQL是一门面向集合的语言，四则运算里的和、差、积已经加入到标准SQL，但由于其标准化进程比较缓慢，一些集合运算在主流的数据库如MySQL、HiveSQL中还未实现。...