大数据技术原理与应用之【大数据处理架构Hadoop】习题

2021-01-26 11:09:21 浏览数 (1)

1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系

答: Hadoop的核心是分布式文件系统HDFS和MapReduce,HDFS是谷歌文件系统GFS的开源实现,MapReduces是针对谷歌MapReduce的开源实现。

2.试述Hadoop具有哪些特性。

答: 高可靠性,高效性,高可扩展性,高容错性,成本低,运行在Linux平台,支持多种编程语言

3.试述Hadoop在各个领域的应用情况。

答:2007年,雅虎在Sunnyvale总部建立了M45——一个包含了4000个处理器和1.5PB容量的Hadooop集群系统;

Facebook主要将Hadoop平台用于日志处理,推荐系统和数据仓库等方面;

百度主要使用Hadoop于日志的存储和统计、网页数据的分析和挖掘、商业分析、在线数据反馈、网页聚类等。

4.试述Hadoop的项目结构以及每个部分的具体功能。

答:

Commeon是为Hadoop其他子项目提供支持的常用工具,主要包括文件系统、RPC和串行化库。

Avro是为Hadoop的子项目,用于数据序列化的系统,提供了丰富的数据结构类型、快速可压缩的二进制数据格式、存储持续性数据的文件集、远程调用的功能和简单的动态语言集成功能。

HDFS是Hadoop项目的两个核心之一,它是针对谷歌文件系统的开源实现。

HBase是一个提高可靠性、高性能、可伸缩、实时读写、分布式的列式数据库,一般采用HDFS作为其底层数据存储。

MapReduce是针对谷歌MapReduce的开源实现,用于大规模数据集的并行运算。

Zoookepper是针对谷歌Chubby的一个开源实现,是高效和可靠的协同工作系统,提供分布式锁之类的基本服务,用于构建分布式应用,减轻分布式应用程序所承担的协调任务。

Hive是一个基于Hadoop的数据仓库工具,可以用于对Hadoop文件中的数据集进行数据整理、特殊查询和分布存储。

Pig是一种数据流语言和运行环境,适合于使用Hadoop和MapReducce平台上查询大型半结构化数据集。

Sqoop可以改进数据的互操作性,主要用来在Hadoop配合关系数据库之间交换数据。

Chukwa是一个开源的、用于监控大型分布式系统的数据收集系统,可以将各种类型的数据收集成适合Hadoop处理的文件,并保存在HDFS中供Hadoop进行各种 MapReduce操作。

0 人点赞