在MapReduce1.0中，我们都知道也存在和HDFS一样的单点故障问题，主要是JobTracker既负责资源管理，又负责任务分配。

我们知道MapReduce诞生与搜索邻域，主要解决的是海量数据处理扩展性差的问题。

MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型，MapReduce的计算过程被封装的很好，我们只用使用Map和Reduce函数，所以对其整体的计算过程不是太清楚，同时MapReduce1.0和MapReduce2.0在网上有很多人混淆...

想必在数据量情况少的情况下我们首先想到的时擅长于存储的常见数据库如MySQL或者oracle,甚至我们可以将企业的web Server,db Server都装载到一个服务中，但是随着时间或者公司的成长数据库会越来越满。...

就目前来说Hadoop已经成为处理大数据的问题的必备的组件，许多的大厂都已经在使用Hadoop软件栈处理自己的问题，那为什么Hadoop技术栈这么流行？

react的功能其实很单一，主要负责渲染的功能，现有的框架，比如angular是一个大而全的框架，用了angular几乎就不需要用其他工具辅助配合，但是react不一样，他只负责ui渲染，想要做好一个项目，往往需要其他库和工具的配合，比如用redu...

python中允许把函数本身作为参数传入另一个函数，还允许返回一个函数！其次要认清的一点是，python中函数名也是变量，函数名其实就是指向函数的变量！比如对于abs()这个函数，完全可以把函数名abs看成变量。如果故意赋值abs = 10...

Map阶段由一定数量的Map Task组成 输入数据格式解析：InputFormat 输入的数据处理 ：Mapper 输入数据分组 ：Partitioner 数据的拷贝与按key排序 数据处理 ：Reducer 数据的输出格式 ：outputFormat...

hive是一个著名的离线处理的数据仓库，可以通过类SQL语言轻松的访问大量的数据集，也可以访问HDFS中的文件，但是其底层的实现是MapReduce,所以具有较高的可扩展性。但是hive不是RDBMS数据库。...

--define可以定义用户变量 --hivevar可以定义用户遍历 --hiveconf使用key-value得到hive-site.xml配值的变量