最新 最热

Kylin配置Spark并构建Cube(修订版)

在运行 Spark cubing 前,建议查看一下这些配置并根据集群的情况进行自定义。下面是建议配置,开启了 Spark 动态资源分配:

2019-09-05
0

YARN任务监控界面Aggregate Resource Allocation指标解析

在YARN的原生任务监控界面中,我们经常能看到Aggregate Resource Allocation这个指标(图中高亮选中部分),这个指标表示该任务拥有的所有container每秒所消耗的资源(内存、CPU)总和:...

2019-09-02
0

【Web技术】334- yarn、npm、cnpm 三者如何优雅的在一起使用 ?

一位用不好包管理器的前端,是一个入门级前端,一个用不好webpack的前端,是一个初级前端

2019-08-30
0

Kylin配置Spark并构建Cube

在运行 Spark cubing 前,建议查看一下这些配置并根据集群的情况进行自定义。下面是建议配置,开启了 Spark 动态资源分配:

2019-08-29
0

批处理dtsmake【仅适合win系统】

我们先找到dtsmake 的npm 包的链接:https://www.npmjs.com/package/dtsmake 官方wiki实在是太长,我们只看其中两个指令:

2019-08-27
0

Hadoop伪分布式配置

http://localhost:50070/dfshealth.html#tab-overview

2019-08-24
0

Spark系列(三)Spark的工作机制

什么时候才能回归到看论文,写感想的日子呀~刚刚交完房租的我血槽已空。看了师妹关于Spark报告的PPT,好怀念学生时代开组会的时光啊,虽然我已经离开学校不长不短两个月,但我还是非常认真的翻阅了,并作为大自然的搬运工来搬...

2019-08-22
0

YARN的两种运行模式

YARN是一种资源管理机制,可以基于这种资源管理机制运行多种计算框架,比如mapreduce和storm,任何框架与YARN的结合,都必须遵循YARN的开发模式,下图为YARN框架的基本原理。...

2019-08-22
0

Hadoop技术资料汇总(不断更新中)

这些资料都是我在工作中学习、解决问题的资料汇总,我不能保证这里罗列的所有资料对看到的人有用,但大部分都经过我的实际验证。在不断学习和实践过程中,我会不断更新和总结这些资料,同时欢迎大家留言交流。感谢这些资料的...

2019-08-21
0

ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析

最近有一次我们的Hadoop监控平台发出ResourceManager(以下简称RM)崩溃的报警信息,于是我们分析了RM的日志和ZooKeeper服务端(以下简称ZK)的日志,异常日志信息分别如下:...

2019-08-21
0