Properties是专门存储属性信息操作的类，其为Hashtable的子类，Hashtable能保存各种类型数据，但Properties类只能进行字符串数据的保存，因为其主要用于资源文件操作的。...

这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分。 1）Client：就是客户端。   （1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Bl...

以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml）

Hive运行成功之后，当输入select count(*) from XX或者插入数据时，居然碰到BUG。

不过HIVE本身还提供一种机制，可以删除其中的分区。只要某一条记录在某个分区中，就可以实现用个“转弯”的方式来实现，即先删除分区，再手动去掉这条记录，再导入到分区中。...

本示例说明如何使用Pentaho MapReduce把细节数据转换和汇总成一个聚合数据集。当给一个关系型数据仓库或数据集市准备待抽取的数据时，这是一个常见使用场景。我们使用格式化的web日志数据作为细节数据，并且建立一个聚合...

本示例说明如何使用Pentaho MapReduce把原始web日志解析成格式化的记录。 一、向HDFS导入示例数据文件 将weblogs_rebuild.txt文件放到HDFS的/user/grid/raw/目录下（因资源有限，本示例只取了这个文件的前10行数据） ...

整个需求可以分为两个作业 - 统计作业：按天统计报告量 - 排序作业：按照曝光量进行全排序；依赖于前一个作业的输出结果；升序依赖MR的shuffle阶段对key进行升序排序的特征；降序需要重写key的比较器...

MapReduce默认只是保证同一个分区内的Key是有序的，但是不保证全局有序。如果我们将所有的数据全部发送到一个Reduce，那么不就可以实现结果全局有序。所以前文7.6节二次排序已经实现了最终结果有序，也就是全排序。 MapRe...

MapReduce框架对处理结果的输出会根据key值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的。在我们实际的需求当中，往往有要对reduce输出结果进行二次排序的需求。所谓二次排序，先按第1个字段进行排...