通过idea开发mapreduce程序并直接run，提交到远程hadoop集群执行mapreduce。

部署spark2.2集群on Yarn模式的前提，是先搭建好hadoop集群环境，请参考《Linux部署hadoop2.7.7集群》一文，将hadoop集群环境部署并启动成功；

Hadoop 是 Apache 开源组织的一个分布式计算开源框架，是一个可以更容易开发和运行处理大规模数据的解决方案，它提供了一套分布式系统基础架构，允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。...

使用 nrm 模块 : www.npmjs.com/package/nrm npm config : npm config set registry https://registry.npm.taobao.org yarn config : yarn config set registry https://re...

版权声明：本文为木偶人shaon原创文章，转载请注明原文地址，非常感谢。 https://blog.csdn.net/wh211212/article/details/53171625

spark-submit脚本通常位于/usr/local/spark/bin目录下，可以用which spark-submit来查看它所在的位置，spark-submit用来启动集群中的应用，它使用统一的提交接口支持各种类型的集群服务器。为了将应用发布到集群中，通常会将...

1、启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yarn.sh

我们在 /etc/hosts 中将该映射关系填写上去即可，如下图所示（一般该文件中只有一个 127.0.0.1，其对应名为 localhost，如果有多余的应删除，特别是不能有 “127.0.0.1 Master” 这样的记录）...

第一个坑：我的项目就是依赖webpack 3.6.0同时也是用npm安装依赖，然后继续使用npm安装vuepress，然后执行npx vuepress dev docs的时候报错了，上网查了好久也没有解决问题，最后使用yarn安装vuepress成功了。...

其中，在master node上运行ResourceManager。 每个datanode上运行一个NodeManager。 并把该dataNode上的所有计算资源（CPU、内存）视为一个/多个Container，而Container可以被分配执行一个task(ApplicationMaster、map task...