最新 最热

Flink on Yarn三部曲之三:提交Flink任务

现在Flink、Yarn、HDFS都就绪了,接下来实践提交Flink任务到Yarn执行;

2020-05-26
1

Flink on Yarn三部曲之二:部署和设置

文是《Flink on Yarn三部曲》系列的第二篇,上一篇《Flink on Yarn三部曲之一:准备工作》已将所需的机器和文件准备完毕,可以部署CDH和Flink了;

2020-05-26
1

Flink on Yarn三部曲之一:准备工作

除了常见的standalone模式,Flink还支持将任务提交到Yarn环境执行,任务所需的计算资源由Yarn Remource Manager来分配,如下图(来自Flink官网):

2020-05-26
0

NPM 和 Yarn 使用国内淘宝镜像源提升各依赖安装速度

首先查看自己是否安装 NPM,如果没有安装 NPM,请查看 下载并安装.NET Core SDK[1]

2020-05-25
0

Kylin使用Spark构建Cube

Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。下面是单机安装采坑记,直...

2020-05-20
0

ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析(三)

这个问题又让我们碰到了,发生次数不频繁但是一旦发生就会造成ResourceManager服务崩溃、ZK注册watch过多等问题。不彻底解决这个问题心中一直是个梗,所以基于前两次的分析和阅读社区最新版Hadoop 3.2.1代码之后,给生产环...

2020-05-18
0

自2013到2019年大数据领域发生了什么变化

在网上看到这篇文章之后发现还挺有意思,文章也算比较简短,就试着联系了一下作者说我想把他翻译成中文,不做商业用途只是练习和技术布道。作者的回应也非常快,当晚就给我回复,所以就有了这篇翻译,如果翻译有不准确的地方还请...

2020-05-15
0

如何在 CentOS 8 上安装 Yarn

Yarn 是一个 JavaScript 包管理器,它兼容于 npm,可以帮助你自动处理安装,升级,配置,和移除 npm 包。

2020-05-09
0

Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)

本文是由alice菌发表在:https://blog.csdn.net/weixin_44318830/article/details/102846055

2020-05-08
0

yarn常见命令

yarn config set registry 'https://registry.npm.taobo.org/'

2020-04-30
0