Apache Hive 在 2010 年作为 Hadoop 生态系统的一部分崭露头角，当时 Hadoop 是一种新颖而创新的大数据分析方法。Hive 的功能就是实现 Hadoop 的 SQL 接口。它的架构包括两个主要服务：一是查询引擎：负责执行 SQL 语句；二...

序列化是指将结构化对象转化为字节流以便在网络上传输或写到磁盘进行永久存储的过程。反序列化是指将字节流转回结构化对象的逆过程。

MapReduce主要分为两个部分，分别是map和reduce，采用的是“分而治之”的思想，Mapper负责“分”，把一个庞大的任务分成若干个小任务来进行处理，而Reduce则是负责对map阶段的结果进行汇总。...

经过这么多年的发展，大数据的技术正处于群雄逐鹿阶段 ，面对这么多技术框架，我们得学会做减法。

今天聊聊一种列式数据库，基于 MPP 和真正列式数据库技术，创建了面向大数据实时分析的全新架构：Vertica

在 Hadoop 1.x 版本中，是没有 HA 实现方式的，它只有可以看做是冷备份的 SecondaryNameNode 来起到备份作用，因为 2NN 能够协助 NameNode 做一些检查点的工作，能同步磁盘镜像(FSImage)和日志(EditLog). 当 NN 挂掉，2NN 是没...

此篇章主要介绍Hadoop完全分布式模式的部署。完全分布式模式是利用多台服务器来进行部署Hadoop，是真正意义上的分布式部署模式。此模式下，Hadoop的守护进程分别运行在由多个主机节点搭建的服务器集群上，不同的节点担任不...

本地模式是最简单的部署模式，所有模块都运行在一台机器的单个JVM进程中，使用的是本地文件系统，而不是HDFS. 本地模式主要是用于本地开发过程中的运行调。下载Hadoop安装后不用进行任何的配置，默认的就是本地模式。...

在开始Hadoop的部署之前需要了解其基础知识及部分原理，由于本文以部署的介绍为主，篇幅有限，因此只会对这部分内容作简单的阐述，后面有机会会撰写专门的Hadoop原理及基础系列文章。...

2) Xshell（可选）：用于在本地访问虚拟服务器，也可选择其他远程工具，如SecureCRT