最新 最热

最通俗易懂的大数据术语,必知必会大数据基础知识大全

产品经理要不要懂技术的问题一直有很多的观点和讨论,一般来讲产品懂技术是有一定的优势,但不是充分必要条件。而数据产品是B端更偏底层的工种,有一定技术基础后,开展工作更顺利。找工作的经历里面,有被问到过你...

2022-07-01
1

如何从Hadoop安全模式中进入正常模式

发现问题: 在Hadoop中,新建一个目录,报错了,提示mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory

2022-07-01
1

Hadoop2.0的HA介绍

前一篇文章介绍了Hadoop2.0(hadoop2.0架构,具体版本是hadoop2.2.0)的安装和最基本的配置(见 http://www.linuxidc.com/Linux/2014-05/101173.htm ),并没有配置HA(High Avalability,高可用性),接下来的文章中会介绍hadoop2.......

2022-07-01
1

Hadoop lzo的使用方法

前面的文章介绍了Hadoop lzo的安装和配置(见 http://www.linuxidc.com/Linux/2014-05/101090.htm ),本文接着介绍lzo压缩在hadoop应用程序中的使用方法,包括在mapreduce程序,streaming程序和hive中的使用。 1 给lzo文件建...

2022-07-01
1

4种常用压缩格式在Hadoop中的应用

目前在Hadoop中用得比较多的有lzo,gzip,snappy,bzip2这4种压缩格式,笔者根据实践经验介绍一下这4种压缩格式的优缺点和应用场景,以便大家在实践中根据实际情况选择不同的压缩格式。...

2022-07-01
1

Hadoop2.0 federation的配置

上一篇文章《Hadoop2.0 federation介绍》(见http://www.linuxidc.com/Linux/2014-05/101179.htm )介绍了hadoop2.0 federation的基本架构和基本原理,本文接着先介绍单独配置federation,在下一篇文章中会继续介绍同时配置...

2022-07-01
1

Hadoop2.0 federation介绍

在Hadoop1.0的架构中,HDFS的所有的元数据都放在一个namenode中,只有一个namespace(名字空间)。这样随着HDFS的数据越来越多,单个namenode的资源使用必然会达到上限,而且namenode的负载也会越来越高,限制了HDFS的性能。...

2022-07-01
1

Hadoop2.0 配置yarn成功

Hadoop2.0 配置yarn成功,记住这个成功的一刻,把几个主要文件贴出来:--------------------------------------分割线 -----------------

2022-06-30
1

Eclipse中配置Hadoop开发环境

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm

2022-06-30
1

HDFS——如何获取文件的属性信息

import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.ha...

2022-06-30
1