最新 最热

Flink on Yarn三部曲之三:提交Flink任务

现在Flink、Yarn、HDFS都就绪了,接下来实践提交Flink任务到Yarn执行;

2020-05-26
1

Flink on Yarn三部曲之二:部署和设置

文是《Flink on Yarn三部曲》系列的第二篇,上一篇《Flink on Yarn三部曲之一:准备工作》已将所需的机器和文件准备完毕,可以部署CDH和Flink了;

2020-05-26
1

Flink on Yarn三部曲之一:准备工作

除了常见的standalone模式,Flink还支持将任务提交到Yarn环境执行,任务所需的计算资源由Yarn Remource Manager来分配,如下图(来自Flink官网):

2020-05-26
1

Flink简介

ApacheFlink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。

2020-05-24
0

flink的local模式启动全流程源码分析

这是一个执行WordCount的操作,我们以这个demo为入口来对整个执行流程进行分析记录。

2020-05-22
0

一文入门流处理开发

Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时,Flink 在流处理引擎上构建了批处理引擎,原生支持了迭代计算、内存管理和程序优化。...

2020-05-21
0

Flink 1.10之改进的TaskManager内存模型与配置

Flink社区在FLIP-49提出了新版统一的TaskManager内存模型及配置,这也是Flink 1.10版本最主要的改进与优化点之一。根据社区的说法,该proposal致力于解决1.9版本及之前的TM内存配置的三个缺点:...

2020-05-20
0

0770-Apache YuniKorn (Incubating) 0.8发布

Apache YuniKorn(Incubating)是一个独立的资源调度程序,旨在将针对大数据工作负载的高级调度功能引入容器化平台。具体可以参考前面的文章《YuniKorn:一个通用的资源调度程序》。...

2020-05-20
0

Flink及Storm、Spark主流流框架比较,到底谁会更胜一筹?

那么有spark和storm这样成熟的计算框架存在,为什么flink还能占有一席之地呢?今天我们就从流处理的角度将flink和这两个框架进行一些分析和比较。随着大数据时代的来临,大数据产品层出不穷。...

2020-05-18
0

miRNAseq数据分析这么多年了它的流程也没有固定

那个时候举例使用的是bowtie2软件比对miRNA的reads到miRBase里面的miRNA序列文件,以及hg38参考基因组,两个策略。后来也看了看很多公司报告,发现大多集中于下游分析,就是拿到了miRNA表达矩阵后的,包括差异分析,靶基因等等。...

2020-05-14
0