Hadoop基础教程-第2章 Hadoop快速入门（2.1 Hadoop简介）

第2章 Hadoop快速入门

（1）2002年10月，Doug Cutting和Mike Cafarella创建了开源网页爬虫项目Nutch。

（2）2003 年 Google 发表了一篇技术学术论文关于 Google 文件系统（GFS）。GFS 也就是 Google File System，是 Google 公司为了存储海量搜索数据而设计的专用文件系统。

（3）2004年7月，Doug Cutting和Mike Cafarella在Nutch中实现了类似GFS的功能，即后来HDFS的前身。

（4）2004年 Google 又发表了一篇技术学术论文，向全世界介绍了 MapReduce。2005年 Doug Cutting 又基于 MapReduce，在 Nutch 搜索引擎实现了该功能。

（5）2005年2月，Mike Cafarella在Nutch中实现了MapReduce的最初版本。

（6）2006年1月，Doug Cutting加入Yahoo!（雅虎）。Doug Cutting 将 NDFS 和MapReduce 升级命名为 Hadoop，Hadoop正式诞生！Yahoo! 开建了一个独立的团队给 Goug Cutting 专门研究发展 Hadoop。

（7）2006年2月，Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。

（8）2006年11月，Google发表了Bigtable论文，这最终激发了HBase的创建。

（9）2007年，百度、中国移动开始使用使用Hadoop技术。

（9）2008年1月，Hadoop 成为了 Apache 顶级项目。之后 Hadoop 被成功的应用在了其他公司，其中包括 Last.fm、Facebook、《纽约时报》等。

（10）2008年6月，Hadoop的第一个SQL框架——Hive成为了Hadoop的子项目。

（11）2009 年3月，Cloudera推出世界上首个Hadoop发行版——CDH（Cloudera’s Distribution including Apache Hadoop）平台，完全由开放源码软件组成。

（12）2009年7月，MapReduce 和 Hadoop Distributed File System (HDFS) 成为Hadoop项目的独立子项目。

（13）2009年10月，首届Hadoop World大会在纽约召开。

（14）2011年1月，ZooKeeper 脱离Hadoop，成为Apache顶级项目。

（15）2011年7月，Yahoo!和硅谷风险投资公司 Benchmark Capital创建了Hortonworks 公司，旨在让Hadoop更加可靠，并让企业用户更容易安装、管理和使用Hadoop。

（16）2012年3月，企业必须的重要功能HDFS NameNode HA被加入Hadoop主版本。

（17）2012年8月，另外一个重要的企业适用功能YARN成为Hadoop子项目。

（18）2014年2月，Spark逐渐代替MapReduce成为Hadoop的缺省执行引擎，并成为Apache基金会顶级项目。

Hadoop 包含以下模块：

其他与 Apache Hadoop 的相关项目包括：

Ambari：一个基于Web 的工具，用于配置、管理和监控的 Apache Hadoop 集群，其中包括支持 Hadoop HDFS、Hadoop MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig 和 Sqoop。Ambari 还提供了仪表盘查看集群的健康，如热图，并能够以用户友好的方式来查看的 MapReduce、Pig 和 Hive 应用，方便诊断其性能。
HBase：一个可扩展的分布式数据库，支持结构化数据的大表存储。
Hive：数据仓库基础设施，提供数据汇总以及特定的查询。
Mahout：一种可扩展的机器学习和数据挖掘库。
Pig：一个高层次的数据流并行计算语言和执行框架。
Spark：Hadoop 数据的快速和通用计算引擎。Spark 提供了简单和强大的编程模型用以支持广泛的应用，其中包括 ETL、机器学习、流处理和图形计算。
ZooKeeper：一个高性能的分布式应用程序协调服务。