最新 最热

Flink CDC 2.0 数据处理流程全面解析

8月份 FlinkCDC 发布2.0.0版本,相较于1.0版本,在全量读取阶段支持分布式读取、支持checkpoint,且在全量 + 增量读取的过程在不锁表的情况下保障数据一致性。...

2022-01-13
1

基于 Flink 搭建实时平台

1一、前言在大数据时代,金融科技公司通常借助消费数据来综合评估用户的信用和还款能力。这个过程中,某些中介机构会搜集大量的号并进行“养号”工作,即在一年周期里让这些号形成正常的消费、通讯记录,目的是将这些号“培...

2022-01-13
1

2021年总结实时数仓最新架构图

1基于Flink的滴滴实时数仓实践分享嘉宾:潘澄,滴滴基础平台 资深研发工程师分享大纲:整体概况业务实践平台&引擎总结反思未来规划

2022-01-13
1

Uber 如何为近实时特性构建可伸缩流管道?

Uber 致力于为全球客户提供可靠的服务。要达到这个目标,我们很大程度上依靠机器学习来作出明智的决定,如预测和增益。所以,用来产生机器学习数据和特征的实时流管道已经越来越受到重视。...

2022-01-13
1

Flink深度学习流处理核心组件 Time&Window 深度解析

Apache Flink(以下简称 Flink) 是一个天然支持无限流数据处理的分布式计算框架,在 Flink 中 Window 可以将无限流切分成有限流,是处理有限流的核心组件,现在 Flink 中 Window 可以是时间驱动的(Time Window),也可以是数据驱动...

2022-01-13
1

电商供应链数仓平台该如何建设?哪些点需要注意?

导读:随着蜀海供应链业务的发展,供应链中各个环节角色的工作人员利用数据对业务进行增长分析的需求越来越迫切。在过去大数据分析平台架构1.0的实践中,存在数据生产链路太长,架构太复杂,开发运维成本都很高,之前的团队对这...

2022-01-12
1

伴鱼:借助 Flink 完成机器学习特征系统的升级

在伴鱼,我们在多个在线场景使用机器学习提高用户的使用体验,例如:在伴鱼绘本中,我们根据用户的帖子浏览记录,为用户推荐他们感兴趣的帖子;在转化后台里,我们根据用户的绘本购买记录,为用户推荐他们可能感兴趣的课程等。...

2022-01-12
1

基于Clickhouse的日志体系

1、flink对微服务的topic数据清洗后,丢到一个新的Kafka的topic里面

2022-01-11
1

Flink1.14 前言预览

本文由社区志愿者 陈政羽 整理,内容源自宋辛童 (五藏) 在 8 月 7 日线上 Flink Meetup 分享的《Flink 1.14 新特性预览》。主要内容为:

2022-01-10
1

专家带你吃透 Flink 架构:一个新版 Connector 的实现

作者:刘泽善,腾讯CSIG专家工程师 前言 Flink 可以说已经是流计算领域的事实标准,其开源社区发展迅速,提出了很多改进计划(Flink Improvement Proposals,简称 FLIP [1])并不断迭代,几乎每个新的版本在功能、性能和使用便捷性上...

2022-01-07
1