最新 最热

Flink 实践教程:进阶8-自定义标量函数(UDF)

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大...

2022-03-07
1

Flink Standalone HA搭建指南

进入host147主机的/data/flink-1.13.5/zookeeper目录,新建文件myid,并填入1

2022-03-07
1

Flink大状态与Checkpint调优

第一部分讨论如何大规模执行checkpoint。 最后一部分解释了一些关于规划要使用多少资源的最佳实践。

2022-03-07
1

Apache Flink 在移动云实时计算的实践

本文整理自移动软件开发工程师谢磊在 Flink Forward Asia 2021 平台建设专场的演讲。本篇内容主要分为四个部分:

2022-03-07
1

数据分析小结:使用流计算 Oceanus(Flink) SQL 作业进行数据类型转换

作者:吴云涛,腾讯 CSIG 高级工程师  在这个数据爆炸的时代,企业做数据分析也面临着新的挑战, 如何能够更高效地做数据准备,从而缩短整个数据分析的周期,让数据更有时效性,增加数据的价值,就变得尤为重要。将数据从来源端经...

2022-03-04
1

Flink 实践教程-进阶(9):自定义表值函数(UDTF)

作者:腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大...

2022-03-04
1

海量监控数据处理之道(一):APM指标计算优化

作者:熊彪,腾讯云监控高级工程师 前言 腾讯云应用性能观测(APM)是一款应用性能管理产品,基于实时的多语言应用探针全量采集技术,为用户提供分布式应用性能分析和故障自检能力。本文主要讲述了 APM 链路指标计算场景下,性能优...

2022-03-03
1

将hudi同步到配置kerberos的hive3

前人种树,后人乘凉。本文基于社区pr:https://github.com/apache/hudi/pull/3771 ,新增一些其他配置项以完成本场景下的hudi → hive metastore元数据同步问题。

2022-03-03
1

Flink State TTL 详解

在某些场景下 Flink 用户状态一直在无限增长,一些用例需要能够自动清理旧的状态。例如,作业中定义了超长的时间窗口,或者在动态表上应用了无限范围的 GROUP BY 语句。此外,目前开发人员需要自己完成 TTL 的临时实现,例如使...

2022-03-02
1

Flink on K8s 企业生产化实践

为了解决公司模型&特征迭代的系统性问题,提升算法开发与迭代效率,部门立项了特征平台项目。特征平台旨在解决数据存储分散、口径重复、提取复杂、链路过长等问题,在大数据与算法间架起科学桥梁,提供强有力的样本及特征数...

2022-03-02
1