最新 最热

No.9 - 第一章 启航 - 事件驱动型应用总结 | Flink 知其然,知其所以然

本节对事件驱动型应用场景的 5 节课程进行了快速的总结,大家可以通过该节快速了解前面5节课程的概要内容,进而对事件驱动型应用有一个宏观认识。如果大家对某小节内容感兴趣可以有选择的进行某节课程的选听/选看,进而更...

2020-06-24
0

No.11-第一章 启航-数据分析型应用-疫情防控需求分析

本节针对"近14天新增报告本地感染确诊病例100例以上"这一需求点进行详细的剖析,既涉及到了Hopping窗口又涉及到了Over窗口,这个两个窗口一直是用户很困惑的概念,大家在本节学习分享疫情防控案例需求的同时也对Hopping窗...

2020-06-24
0

No.10 - 第一章 启航 - 数据分析型应用-疫情防控

本节为大家介绍了什么是分析,什么是数据分析,同时为大家介绍了发生在我们身边的数据分析型案例 - 疫情防控,对疫情防控案例中的地区分级防控管理进行了规则描述和需求要点分析。...

2020-06-24
0

Spark3.0分布,Structured Streaming UI登场

近日,在Spark开源十周年之际,Spark3.0发布了,这个版本大家也是期盼已久。登录Spark官网,最新的版本已经是3.0。而且不出意外,对于Structured Streaming进行了再一次的加强,这样Spark和Flink在实时计算领域的竞争,恐怕会愈演...

2020-06-22
0

gffread - gtf/gff文件转fasta序列

今天有一个需求,就是要将gtf中的转录本转成fasta序列,一开始是想着用bedtools getfasta实现,awk取出来坐标做成bed文件输入bedtools,但是结果发现bedtools是单纯按照坐标取出来的,也懒得自己写脚本取了,搜一下发现cufflinks...

2020-06-22
0

《你问我答》第四期 | 进一步讲解SuperSQL、Oceanus以及Tbase

各位小伙伴们大家好,我们又见面啦~ 这里是《你问我答》栏目第四期 上周推送了一篇关于腾讯SuperSQL的文章 《「解耦」方能「专注」——腾讯天穹SuperSQL跨引擎计算揭秘》 很多同学对这个项目产生了浓厚的兴趣 本期,我们...

2020-06-22
0

一文搞定 Flink Checkpoint Barrier 全流程

上文中,我们一起了解了 一文搞定 Flink 消费消息的全流程,接下来呢,我们一起来看一下 checkpoint barrier 的全流程。

2020-06-21
0

深入解读 Flink 资源管理机制

摘要:本文根据 Apache Flink 系列直播整理而成,由阿里巴巴高级开发工程师宋辛童分享。文章主要从基本概念、当前机制与策略、未来发展方向等三个方面帮助开发者深入理解 Flink 的资源管理机制。...

2020-06-19
0

Flink入门介绍

Apache Flink是一个分布式大数据处理引擎,可以对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进行快速计算。...

2020-06-19
0

关于更换Maven国内镜像的经验总结

最近需要编译flink-1.9.0和flink-shaded,由于网上所给信息是,在编译时需要在两个工程内设置非中央仓库的官方镜像源。对于更换Maven国内镜像有一定的经验总结。本文以阿里云为例,其他镜像源——比如腾讯云——也是可以使...

2020-06-15
0