最新 最热

【Flink】第二十五篇:源码角度分析作业提交逻辑

【Flink】第四篇:【迷思】对update语义拆解D-、I+后造成update原子性丢失

2022-03-31
0

【Flink】第七篇:记一次Flink Job物理内存不足引起checkpoint失败问题排查

我们组的实时数仓项目(二期:Flink SQL指标计算)进入上线阶段。所以,最近的推文我会持续更新一些线上问题排查的实战经验和思路,并尽量针对一类相似或者关联问题所涉及的关键点进行总结,抽出一些方法论分享给大家,感谢支持^^...

2022-03-31
0

【Flink】第六篇:记一次Flink状态(State Size)增大不收敛,最终引起OOM问题排查

公司线上一个Flink作业的State Size随时间逐渐增大,运行一段时间后出现报OutOfMemory异常。

2022-03-31
0

【Spark】Spark之what

Spark:通用大数据快速处理引擎。可以基于Hadoop上存储的大数据(HDFS、Hive、HBase等任何实现了Hadoop接口的存储系统)进行计算。

2022-03-31
1

YARN

YARN(Yet Another Resource Negotiator),下一代MapReduce框架。该框架已经不再是一个传统的MapReduce框架,是一个通用的运行时框架,用户可以编写自己的计算框架,在该运行环境中运行。...

2022-03-31
1

初步尝试 tauri,并且与 electron.js 对比

在 2021 年 star 排行榜单中,tauri 一年增长了 18k 排名第五,我们就很好奇,Tauri 有什么优势呢?

2022-03-30
1

单独运行thingsboard ui

thingsboard官网给出的安装是把thingsboard ui一起打包的,其实thingsboard ui是完全可以独立运行的,使用yarn start命令启动即可。

2022-03-28
0

浅谈NPM怎样处理处理依赖和冲突

其实我们都知道早期版本的的 npm (v2) 管理模块依赖的方式并不复杂。它读取每个模块的依赖列表,并下载匹配版本的依赖模块到该模块目录内的 node_modules 文件夹下;如果该依赖又依赖了其他的模块,会继续下载该依赖的依赖...

2022-03-28
0

Yarn安装与使用详细介绍

在 Node 生态系统中,依赖通常安装在项目的 node_modules 文件夹中。然而,这个文件的结构和实际依赖树可能有所区别,因为重复的依赖可以合并到一起。npm 客户端把依赖安装到 node_modules 目录的过程具有不确定性。这意味...

2022-03-26
1

0872-7.1.4-如何启用CGroup限制YARN CPU使用率

1.文档编写目的 首先说明什么场景下适合使用CGroup,为什么会在集群YARN 中对CPU 进行Vcore数超配的情况下同样一个作业,同样的资源参数,有时候处理很快,有时候处理很慢,出现作业的运行效率无法预估情况? 当我们期望通过合理...

2022-03-24
0