最新 最热

Hadoop-Yarn源码-服务库与事件库

本文分析Hadoop2.6源码,生命周期长的对象,Yarn采用基于服务的对象管理模型对其进行管理。

2023-06-30
1

hue介绍系列02

desktop default_hdfs_superuser hadoop HDFS管理用户

2023-06-29
1

使用pnpm极速进入monorepos模式

近来对tripdocs编辑器项目(已开源)进行重构,目标是使他能够按需加载指定的功能。因为要让插件能够分开加载,所以我需要把插件打包多个npm包。这时候,一个问题来了,多个git仓库还是一个git仓库。...

2023-03-08
1

《快学BigData》--Hadoop总结(A)(34)

Hadoop 是一个性能、可靠性、可扩展性、可管理性的软件,为以后的分布式打下了基础,接下来咱们好好的深刨一下这个有意思的框架。

2023-03-06
1

基于yarn1.x的monorepo实践分享

几天前,晓东船长微信问我,你们团队有没有monorepo的实践,我很遗憾的告诉他没有,但这在我心里播下了一颗探索的种子,刚好最近老总要搞内蒙古的新项目,我和另一个前端兄弟组成双枪敢死队进行保驾护航,于是我就开始探索,有没有一...

2023-03-05
2

yarn的安装和使用

Yarn 缓存了每个下载过的包,所以再次使用时无需重复下载。 同时利用并行下载以最大化资源利用率,因此安装速度更快。

2023-03-02
2

yarn和npm的区别、–save和–save-dev的区别

一、安装yarn(1)下载node.js,使用npm安装npm install -g yarn (2)查看版本yarn --version(3)yarn淘宝源安装yarn config set registry https://registry.npm.taobao.org -g yarn config...

2023-03-02
2

yarn节点属性及调度

在2.X版本中,已经支持节点设置标签,并且允许容量调度中的队列,设置可访问的节点标签以及默认标签值,并按照节点标签进行调度。

2023-02-28
1

一文讲透hdfs的delegation token

前一段时间总结了hadoop中的token认证、yarn任务运行中的token,其中也都提到了delegation token。而最近也遇到了一个问题,问题现象是:flink任务运行超过七天后,由于宿主机异常导致任务失败,继而触发任务的重试,但接连重试...

2023-02-28
2

2.X版本的一个通病问题

对于配置了HA模式的RM或者NN,客户端如果向standby的节点发送请求,会因为不可连接或standby拒绝提供服务导致请求失败,转而向Active的节点发送请求,这个转换是hadoop客户端内部自动完成的,无须上层业务感知(本质上是向其中一...

2023-02-28
1