最新 最热

Hadoop现在怎么样了?

之前我们提到大数据的时候就会提到Hadoop,Hadoop是大数据的基础框架,是大数据技术的代表。提到HDFS、MapReduce、Yarn,提到HBase、Hive、TEZ等Hadoop生态圈中的一个又一个开源组件。但是最近好像有点不一样了。...

2019-07-19
0

Hadoop大数据计算服务平台你了解多少?武汉波若大数据如何实现海量数据存储计算?

Hadoop数据存储计算平台,运用Apache Hadoop关键技术对其进行产品研发,Hadoop是一个开发设计和运作解决规模性数据的软件系统,是Apache的一个用java代码语言构建开源软件框架结构,构建在大批量计算机组成的服务器集群中对...

2019-07-17
0

Spark入门系列(一) | 30分钟理解Spark的基本原理

不同于MapReduce将中间计算结果放入磁盘中,Spark采用内存存储中间计算结果,减少了迭代运算的磁盘IO,并通过并行计算DAG图的优化,减少了不同任务之间的依赖,降低了延迟等待时间。内存计算下,Spark 比 MapReduce 快100倍。...

2019-07-16
0

Spark 必备基本原理

不同于MapReduce将中间计算结果放入磁盘中,Spark采用内存存储中间计算结果,减少了迭代运算的磁盘IO,并通过并行计算DAG图的优化,减少了不同任务之间的依赖,降低了延迟等待时间。内存计算下,Spark 比 MapReduce 快100倍。...

2019-07-15
0

Hadoop——YARN资源调度

Yet Another Resource Negotiator 通用的资源管理系统,为上层y'n

2019-07-15
0

应急响应团队建设:云上威胁响应周期模型

笔者在最近的安全沙龙上,同僚们表现出对应急响应方法论的渴求。所以我想通过真实案例来讲一下应急响应周期建设,以起到抛砖引玉之效,给大佬们的工作带来参考价值。...

2019-07-14
0

0667-6.2.0-什么是Cloudera虚拟私有集群和SDX

以下视频时长55分钟,包含中英文字幕。详细分析了Cloudera为什么要做SDX,包括Cloudera推出这个功能的动机,它为什么是Cloudera企业版的核心竞争力,它可以解决什么问题,后面还有一个demo演示,不过是云上基于Altus的版本,SDX本...

2019-07-09
1

《Yarn的使用教程》--- 大数据系列

上图解析:ResourceManager和NodeManager设计源自于数据计算框架。ResourceManager主要负责资源调度,而NodeManager是监控每一个台客户机器的cpu,内存,硬盘和网络状况,同时汇报给ResourceManager。...

2019-07-03
0

大数据概述----《大数据系列》

学习框架最简单快捷的方法是看官网:http://hadoop.apache.org/

2019-07-03
0

vscode源码分析【一】从源码运行vscode

安装git,nodejs和yarn 安装Python27,3.x版本的不行,确保它在你的环境变量里; 安装gulp

2019-07-02
1