对Hadoop了解的朋友都知道，Hadoop1.x是Hadoop版本当中的第二代开源版本，主要修复Hadoop0.x版本中的一些问题，随着大数据技术的更新迭代该版本已淘汰。随着Hadoop2.x的出现，该架构发生了重大变化，引入了yarn平台的许多新特...

spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。

简述一键安装npm install -g yarnln -s /usr/local/node-v/bin/yarn /bin/yarnyarn -v步骤安装先使用 node.js 安装 yarnnpm install -g yarn然后在添加软连接ln -s /usr/local/node-v/bin...

Flink 的 metrics 是 Flink 公开的一个度量系统，metrics 也可以暴露给外部系统，通过在 Flink 配置文件 conf/flink-conf.yaml 配置即可，Flink原生已经支持了很多reporter，如 JMX、InfluxDB、Prometheus 等等。...

Cypress作为一个最近一两年在国内开始火起来的测试框架，上一篇文章已经介绍过使用nodejs里面的npm命令进行环境搭建（Cypress系列-使用npm命令搭建cypress环境），今天介绍一下使用yarn命令来进行环境搭建。...

如果需要管理作业生命周期。期望通过作业的application tag来进行定位。本文档就如何设置distcp作业的application tag来进行说明。

以上便是本码农总结的15张大数据开发必背的数据流转图,有事没事拿出来看一看,潜移默化自然就记下来了~

JobManager协调每个flink应用的部署，它负责执行定时任务和资源管理。每一个Flink集群都有一个jobManager, 如果jobManager出现问题之后，将不能提交新的任务和运行新任务失败，这样会造成单点失败，所以需要构建高可用的JobM...

导语 | 传统HADOOP生态系统使用YARN管理/调度计算资源，该系统⼀般具有明显的资源使⽤周期。实时计算集群资源消耗主要在⽩天，而数据报表型业务则安排在离线计算集群中。离在线业务分开部署的首要问题就是资源使用率低，...

导语 | 传统HADOOP生态系统使用YARN管理/调度计算资源，该系统⼀般具有明显的资源使⽤周期。实时计算集群资源消耗主要在⽩天，而数据报表型业务则安排在离线计算集群中。离在线业务分开部署的首要问题就是资源使用率低，...