最新 最热

spark源码阅读基本思路

a.解决企业中bug。比如flink早期bug,就很多,如json序列化工具,在开启flink仅一次处理,json格式不符合要求,就会抛异常而挂掉,然后重试,挂掉。这明显不科学,要解决这个bug就要会读源码,改源码。...

2021-03-05
1

深入分析 Flink SQL 工作机制

摘要:本文整理自 Flink Forward 2020 全球在线会议中文精华版,由 Apache Flink PMC 伍翀(云邪)分享,社区志愿者陈婧敏(清樾)整理。旨在帮助大家更好地理解 Flink SQL 引擎的工作原理。文章主要分为以下四部分:...

2021-03-05
1

Flink State 最佳实践

本文主要分享与交流 Flink 状态使用过程中的一些经验与心得,当然标题取了“最佳实践”之名,希望文章内容能给读者带去一些干货。本文内容首先是回顾 state 相关概念,并认识和区别不同的 state backend;之后将分别对 state...

2021-03-05
1

Apache Flink CEP 实战

本文根据 Apache Flink 系列直播课程整理而成,由哈啰出行大数据实时平台资深开发刘博分享。通过一些简单的实际例子,从概念原理,到如何使用,再到功能的扩展,希望能够给计划使用或者已经使用的同学一些帮助。...

2021-03-05
1

Spark join种类(>3种)及join选择依据

join是作为业务开发绕不开的SQL话题,无论是传统的数据库join,还是大数据里的join。

2021-03-05
1

Apache Flink OLAP引擎性能优化及应用

导读:本次分享的主题为Apache Flink新场景——OLAP引擎,主要内容包括:

2021-03-05
1

FlinkSQL演进过程,解析原理及一些优化策略

flink 1.9之前的版本,对于Table API和SQL的底层实现结构如下图,可以看处流处理和批处理有各自独立的api (流处理DataStream,批处理DataSet)。而且有不同的执行计划解析过程,codegen过程也完全不一样,完全没有流批一体的概...

2021-03-05
1

Flink在滴滴的应用与实践进化版

本文整理自Flink Forward 全球在线会议 ,分享者薛康,滴滴实时平台负责人,主要是是从以下四个方面介绍,flink在滴滴的应用与实践:

2021-03-05
1

探究与解决YARN Container分配过于集中的问题

最近至少有两个粉丝在问浪尖为啥自己资源充足yarn还会将spark的executor集中分配到个别的nodemanager的问题,浪尖起初只是给出了一个参数yarn.scheduler.fair.assignmultiple参数设为false,由于每天到家都是十一点了没...

2021-03-05
1

13道Flink企业级高频面试题

相信小伙伴们对于Flink一定不会感到陌生,作为连续三年蝉联第一,荣膺全球最活跃的 Apache 开源项目,Flink在中国的热度也一直是居高不下。近几年,在社区的推动下,Flink 技术栈在越来越多的公司开始得到应用,因此在大数据的求...

2021-03-05
1