最新 最热

Hadoop两列数据的排序

如果利用mapreduce过程的自动排序,只能实现根据第一列排序,现在需要自定义一个继承自WritableComparable接口的类,用该类作为key,就可以利用mapreduce过程的自动排序了。代码如下:...

2022-06-30
1

Hadoop 2.2.0 Cluster Setup-Linux

Apache Hadoop2.2.0作为新一代hadoop版本,突破原来hadoop1.x的集群机器最多4000台的限制,并有效解决以前常遇到的OOM(内存溢出)问题,其创新的计算框架YARN被称为hadoop的操作系统,不仅兼容原有的mapreduce计算模型而且还可...

2022-06-30
1

Linux suse x86_64 环境上部署Hadoop启动失败原因分析

# A fatal error has beendetected by the Java Runtime Environment:

2022-06-29
1

通过NFSv3挂载HDFS到本地目录

编辑$Hadoop_HOME/etc/hadoop/hdsf-site.xml文件,增加如下配置:

2022-06-29
0

Hadoop运维–HA抛出journalnode can not write

journalnode提示不能写入,后端抛异常1.6.232:50854: error: org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException: Journal Storage Directory /data/hadoop/jour...

2022-06-29
0

Hive与HBase集成

下载最新稳定版的Hive,资源库http://mirror.esocc.com/apache/hive/

2022-06-29
1

Spark集群安装

1,download :http://spark.incubator.apache.org/downloads.html选择prebuilt:中hadoop2的下载,hadoop安装就不介绍了,spark节点可以不是hadoop节点,可以是一个hadoop客户端。

2022-06-29
1

Eclipse配置Hadoop MapReduce开发环境

解压hadoop-1.2.1.tar(E:softwaresharehadoop-1.2.1)

2022-06-29
1

Hadoop 添加数据节点(datanode)

export HADOOP_HOME=/app/hadoop/hadoop-1.2.1

2022-06-29
1

Hadoop Job运行问题解决

问题现象:job提交后总是在本地机器运行,不能提交到Hadoop job tracker,在http://192.168.1.130:50030/jobtracker.jsp,不能看到运行中的job。

2022-06-29
0