最新 最热

flink sql实时计算当天pv写入mysql

今天我们主要来讲一个很简单但是很常见的需求,实时计算出网站当天的pv值,然后将结果实时更新到mysql数据库,以供前端查询显示。

2020-09-24
1

大数据框架—Flink与Beam

Flink是Apache的一个顶级项目,Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时,Flink 在流处理引擎上构建了批处理引擎,原生支持了迭代计...

2020-09-23
1

转录组分析 | 使用Stringtie对数据进行下游处理

StringTie 是用于 RNA-seq 的转录本组装和定量软件,StringTie 可以看做是cufflinks软件的升级版本,其功能和Cufflinks是一样的,包括下面两个主要功能:转录本组装和定量;相比Cuffinks, 其运行速度更快。该软件的官网:https:/...

2020-09-23
1

【Flink】从零搭建实时数据分析系统

除了看过两周 Flink 外,其他的框架都没有接触过,只是简单的拿来用一下,也并不是很了解,所以本篇教程如果有什么错误,欢迎指出。

2020-09-22
1

构建Flink第一个应用程序

Flink 可以运行在 Linux、Mac 以及 Windows 上。在这我们使用的是 Mac 系统。为了开发 Flink 应用程序,需要提前安装 Java 和 Maven 环境。

2020-09-22
1

用户画像实践:神策标签生产引擎架构

导读:用户画像是建立在数据基础之上的用户模型,是产品改进、精准营销等业务场景中不可或缺的重要基础。而构建用户画像的过程就是要给用户打上各种维度的标签,并基于标签进行定性或定量分析。这其中,建设灵活、全面、高效...

2020-09-22
1

Flink实现WordCount(实操详细步骤)

先说一下我的环境: Flink 1.9 开发工具:Idea Maven版本:3.3.9 Linux:CentOS 7 演示语言:Scala 2.11

2020-09-22
1

Flink源码解读系列 | 任务提交流程

Flink在1.10版本对整个作业提交流程有了较大改动,详情请见FLIP-73。本文基于1.10对作业提交的关键流程进行分析,不深究。入口: 依旧是main函数最后env.execute();...

2020-09-22
1

Flink源码解读系列 | Flink中的CEP复杂事件处理源码分析

其实CEP复杂事件处理,简单来说你可以用通过类似正则表达式的方式去表示你的逻辑,表现能力非常的强,用过的人都知道

2020-09-22
1

Flink源码解读系列 | Flink中发送端反压以及Credit机制

上一篇《Flink接收端反压机制》说到因为Flink每个Task的接收端和发送端是共享一个bufferPool的,形成了天然的反压机制,当Task接收数据的时候,接收端会根据积压的数据量以及可用的buffer数量(可用的memorySegment数)来决...

2020-09-22
1