最新 最热

Apache Submarine

Hadoop Submarine这个项目是很少被人知道的,因为想去了解他的这个群体本身就非常的小。但是它其实在尝试解决一个很关键的问题,就是如何更高效的让分布式的DL负载跑在不同的资源框架下。...

2019-11-06
0

从零开始学习React-开发环境的搭建(一)

其实16年的时候就已经接触到React,那个时候也只是入门,时隔多年,工作上一直都没有接触到相关的业务,不知不觉,前端的天也开始渐变,看到 了很多招聘要求上都是要求会React,三大框架怎么也得熟悉使用两个,不让下一份工作可能就...

2019-11-05
0

yarn、npm、cnpm 三者如何优雅的在一起使用 ?

一位用不好包管理器的前端,是一个入门级前端,一个用不好webpack的前端,是一个初级前端

2019-11-04
0

Spark系列——Spark On Yarn 资源申请流程

到这里我们也基本讲明白了 Yarn-Client 模式的资源申请了, 但是说的比较浅,没有涉及到很多细节, 说来也比较惭愧,Spark 的 Standalone 模式源码倒是看过, 但是到目前为止,都没有深入研究过Yarn的源码, 尽管工作中基本都是用...

2019-10-30
1

hadoop2.7集群初始化之后没有DataNode的问题

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

2019-10-28
0

Hadoop 之 Yarn

“Yarn 全称 Yet Another Resource Negitiator,就是另一种资源调度器,主要负责Hadoop集群内任务的资源调度框架。”

2019-10-24
0

Mac部署hadoop3(伪分布式)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

2019-10-22
0

查看Spark任务的详细信息

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

2019-10-22
0

Spark学习笔记01-基础

Spark是一个分布式集群计算系统,类似Hadoop提供了强大的分布式计算能力,相比过去的批量处理系统,提供了处理更大规模数据的能力。Spark提供了Java、Python、Scala、R接口。除常见的MapReduce运算外,还支持图、机器学习、S...

2019-10-16
1

深入理解 Flink 容错机制

场景描述:作为分布式系统,尤其是对延迟敏感的实时计算引擎,Apache Flink 需要有强大的容错机制,以确保在出现机器故障或网络分区等不可预知的问题时可以快速自动恢复并依旧能产生准确的计算结果。...

2019-10-15
0