最新 最热

记录yarn被攻击的解决办法

目前如果在腾讯云服务器上部署hadoop框架开启yarn时可能会被黑客攻击(8088yarn计算端口)。 我已经踩雷,出现的结果就是我的用户下的所有文件都被删除而且不能添加任何文件并且一旦添加文件就会被自动删除(.bashrc和.bash_...

2020-12-16
0

0823-5.15.1-HDFS慢导致Hive查询慢问题分析

CDH集群在业务高峰的时候,偶尔会出现Hive 查询慢的现象,本文通过分析Hive出现查询慢时候的集群状态,查找导致Hive查询慢的原因。

2020-12-14
0

flink on yarn 模式下提示yarn资源不足问题分析

在实时计算平台上通过YarnClient向yarn上提交flink任务时一直卡在那里,并在client端一直输出如下日志:

2020-12-14
0

hadoop-3.2.0------>入门十三 完全分布式群起集群

注意:3.0之后的版本是修改 workers,2.0的版本是修改salves

2020-12-07
0

hadoop-3.2.0------>入门十一 完全分布式配置

由于ResourceManager和NameNode还有SecondaryNameNode比较消耗资源,顾三个配置分别配置到不同的主机上

2020-12-07
0

hadoop-3.2.0------>入门八 伪分布式 配置日志聚集

开启日志聚集功能,需要重启NodeManager、ResourceManager和HistoryManager

2020-12-07
0

hadoop-3.2.0------>入门六 伪分布式 YARN运行MapReduce

2、配置yarn-env.sh(命令:vi etc/hadoop/yarn-env.sh)

2020-12-07
0

源码分享-基于vue+Ant Design管理平台

这个前端源码也是在gitee上开源的,功能算是比上一个分享的要全一些,基本功能都有,这个是基于Ant Design,个人感觉这款页面样式要比上一款漂亮。

2020-12-03
0

记hadoop伪分布式安装

最近在系统性学习大数据相关知识,看了一些教学视频,因为教学视频录的比较早了,中间也踩了一些坑,这里记录一下hadoop3.3.0的整个安装过程。

2020-12-01
0

大数据入门:Hadoop Yarn组件基础解析

在Hadoop框架当中,Yarn组件是在Hadoop2.0之后的版本开始引入,主要是为了解决资源管理和调度的相关问题,是在大数据平台的实际运用当中,根据实际需求而引入的解决方案。今天的大数据入门分享,我们就来对Hadoop Yarn组件做个...

2020-11-26
1