最新 最热

2021年人均年终奖2.3万元;字节跳动日均进账10亿;Flink联合创始人离职;Boss直聘强制全员春节原地过年 | Q资讯

华为车 BU 扩至 14 大部门,内部两大派缠斗,要求全员签署竞业协议;字节跳动日均进账 10.07 亿,裁撤投资业务引恐慌;有赞大裁员:产品和技术研发首当其冲,人员优化成今年 OKR;微软拟以 687 亿美元收购动视暴雪;砍价永远差一刀?拼多...

2022-03-23
0

Flink SQL 双表 JOIN 介绍与原理简析

Flink 作为流式数据处理框架的领跑者,在吞吐量、时延、准确型、容错性等方面都有优异的表现。在 API 方面,它为用户提供了较底层的 DataStream API,也推出了 Table API 和 SQL 等编程接口。特别来看,SQL 以其易用、易迁移...

2022-03-22
1

工商银行实时大数据平台建设历程及展望

本篇内容将通过三个部分来介绍工商银行实时大数据平台建设历程及展望。一、工行实时大数据平台建设历程二、工行实时大数据平台建设思路三、展望...

2022-03-22
0

Flink Watermark 机制及总结

作者:黄龙,腾讯 CSIG 高级工程师 Flink Watermark 前言 Flink 水印机制,简而言之,就是在 Flink 使用 Event Time 的情况下,窗口处理事件乱序和事件延迟的一种设计方案。本文从基本的概念入手,来看下 Flink 水印机制的原理和...

2022-03-21
1

原生的在K8s上运行Flink

Kubernetes 相信大家都比较熟悉,近两年大家都在讨论云原生的话题,讨论 Kubernetes。那么什么是 Kubernetes 呢?

2022-03-18
0

Apache Flink 如何正确处理实时计算场景中的乱序数据

在谷歌发表了 GFS、BigTable、Google MapReduce 三篇论文后,大数据技术真正有了第一次飞跃,Hadoop 生态系统逐渐发展起来。

2022-03-17
0

如何提高Flink大规模作业的调度器性能

在 Flink 1.12 中调度大规模作业时,需要大量的时间来初始化作业和部署任务。调度器还需要大量的堆内存来存储执行拓扑和主机临时部署描述符。例如,对于一个拓扑结构的作业,该作业包含两个与全对全边相连且并行度为 10k ...

2022-03-14
0

Flink SQL代码生成与UDF重复调用的优化

代码生成(code generation)是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一。通过代码生成,可以将原本需要解释执行的算子逻辑转为编译执行(二进制代码),充分利用JIT编译的优势,克服传统Volcano模型虚函数调用...

2022-03-14
0

Flink 实践教程-进阶(10):自定义聚合函数(UDAF)

作者:腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时...

2022-03-14
1

flink部分面试题汇总

当 Flink 集群启动后,⾸先会启动⼀个 JobManger 和⼀个或多个的 TaskManager。由 Client 提交任务给JobManager,JobManager 再调度任务到各个 TaskManager 去执⾏,然后 TaskManager 将⼼跳和统计信息汇报给 JobManager。...

2022-03-12
1