最新 最热

Hadoop集群中的Mahout-distribution-0.7安装与配置

Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop,Mahout只在Hadoop集群的NameNode节点上安装一个即可,其他数据节点上不需要安装。

2022-06-29
1

JSP访问Hadoop 图片存储服务

使用hadoop作为分布式文件系统,hadoop是一个实现了HDFS文件系统和MapReduce的开源项目,我们这里只是使用了它的hdfs.首先从web页面上上传的文件直接调用hadoop接口将图片文件存入hadoop系统中,hadoop可以设定备份数,这样...

2022-06-29
1

Sqoop:容错

Sqoop本身的容错依赖于Hadoop,这里我们focus在Sqoop传输任务失败的处理,确切的说,focus在Sqoop如何解决传输任务失败引发的数据一致性问题

2022-06-29
1

Hadoop2.2.0集群部署时live nodes数目不对的问题

关于防火墙,Hadoop本身配置都确定没任何问题,集群启动不报错,但打开50070页面,始终live nodes数目不对,于是我尝试/etc/hosts文件配置是否存在逻辑的错误:...

2022-06-29
1

Hadoop 0.20.2 在Mac OS 10.9 环境下 pseudo distributed 配置

2. edit the file conf/hadoop-env.sh to define at least JAVA_HOME to be the root of your Java installation.

2022-06-29
1

与预算相差 50 万:1.19 亿中标包头市智慧城市

2022年6月2日,包头市工业和信息化局发布《包头市智慧城市(一期)建设项目》招标公告,预算 119,850,000.00 元。一、政务目标需求:打好一网统管、一网通办建设基础、智慧城市标准规范体系建设、城市数据汇聚共享体系建设、城...

2022-06-29
2

RDD:创建的几种方式(scala和java)[通俗易懂]

每一个spark应用程序都包含一个驱动程序(driver program ),他会运行用户的main函数,并在集群上执行各种并行操作(parallel operations)

2022-06-29
1

Ubuntu 编译安装 Hadoop 2.2.0

Map Reduce什么的我是不懂啊。 今天是帮马同学搭建Hadoop。 用的2.2.0版本,结果运行时发现提示 “libhadoop.so.1.0.0 which might have disabled stack guard” 的警告。 Google了一下发现是因为 hadoop 2.2.0提供的...

2022-06-28
1

Hadoop迈入2.0时代 更适合企业应用

“现在是企业应用Hadoop的最佳时机。”Hortonworks公司首席技术官Jeff Markham在11月底举行的2013中国Hadoop技术峰会上演讲时表示。在本次峰会上,Hadoop进入2.0时代成了人们谈论的焦点。Jeff Markham表示,Hadoop 2.0拥...

2022-06-28
1

Hadoop配置中找到集群jobtracker的ip,访问50030

公司集群,配置的Hadoop。执行job,想去看看运行状态,却不知道jobtracker的机器ip:

2022-06-28
1