大数据-MapReduce运行模式

2019-12-25 11:23:35 浏览数 (1)

4. MapReduce 运行模式

本地运行模式

  1. MapReduce 程序是被提交给 LocalJobRunner 在本地以单进程的形式运行
  2. 处理的数据及输出结果可以在本地文件系统, 也可以在hdfs上
  3. 怎样实现本地运行? 写一个程序, 不要带集群的配置文件, 本质是程序的 conf 中是否 有mapreduce.framework.name=local 以及 yarn.resourcemanager.hostname=local 参数
  4. 本地模式非常便于进行业务逻辑的 Debug , 只要在 Eclipse 中打断点即可

集群运行模式

  1. 将 MapReduce 程序提交给 Yarn 集群, 分发到很多的节点上并发执行
  2. 处理的数据和输出结果应该位于 HDFS 文件系统
  3. 提交集群的实现步骤: 将程序打成JAR包，然后在集群的任意一个节点上用hadoop命 令启动
代码语言：javascript复制
hadoop jar hadoop_hdfs_operate‐1.0‐SNAPSHOT.jar cn.itcast.hdfs.demo1.JobMain
mapreduce yarn 大数据 node.js

0 人点赞