最新 最热

Flink CDC 原理、实践和优化

CDC 是变更数据捕获(Change Data Capture)技术的缩写,它可以将源数据库(Source)的增量变动记录,同步到一个或多个数据目的(Sink)。在同步过程中,还可以对数据进行一定的处理,例如分组(GROUP BY)、多表的关联(JOIN)等。...

2021-09-29
0

Flink 快照分析:定位大状态和数据倾斜的算子

在 Flink 作业中,无论是 SQL 还是 JAR 模式,常常会直接或者间接地使用到状态(State)。当 Flink 进行快照时,用户定义的这些状态数据可以被保存在状态点中,以供后续的崩溃恢复。...

2021-09-29
0

穿越迷雾:一次多组件超时的 Flink 崩溃定位小记

上周四下午,告警系统突然提示某位大客户的作业频繁发生崩溃和重启,现象是作业运行起来 2 分钟左右,JobManager 就发现有 TaskManager 心跳失联,随即出现作业崩溃重启,严重影响线上业务的运行。...

2021-09-29
1

Flink 类型和序列化机制简介

使用 Flink 编写处理逻辑时,新手总是容易被林林总总的概念所混淆,本文将逐步解密 Flink 的类型和序列化机制。

2021-09-29
0

Apache Calcite 功能简析及在 Flink 的应用

• Apache Calcite 是一个动态数据的管理框架,可以用来构建数据库系统的语法解析模块

2021-09-29
0

Flink 常见问题定位指南

流计算作业通常运行时间长,数据吞吐量大,且对时延较为敏感。但实际运行中,Flink 作业可能因为各种原因出现吞吐量抖动、延迟高、快照失败等突发情况,甚至发生崩溃和重启,影响输出数据的质量,甚至会导致线上业务中断,造成报表...

2021-09-26
0

关于本专栏停止维护的通知

为规范管理,即日起,本专栏停止维护。更多流计算 Oceanus 相关资讯动态,学习交流以及知识问答,请前往官方专栏查看。

2021-09-16
0

如何在 Linux 上扫描/检测新的 LUN 和 SCSI 磁盘

当 Linux 系统连接到 SAN(存储区域网络)后,你需要重新扫描 iSCSI 服务以发现新的 LUN。

2021-09-13
0

Oceanus实践-从0到1开发MySQL-cdc到ES SQL作业

实时即未来,最近在腾讯云Oceanus进行实时计算服务,以下为mysql到flink到ES实践。分享给大家~

2021-09-08
0

使用lsblk命令列出系统中的块设备

中的lsblk 用于列出有关所有可用块设备的信息,但它不会列出有关RAM Disk的信息(其数据实际存储在RAM内存之中)。块设备一般包括硬盘、网络存储、usb存储,光盘等...

2021-09-06
0