最新 最热

【Flink】第十八篇:Direct Memory 一箩筐

Flink的内存管理是基于JVM内存模型的,所以,在内存调优或者解决各种OOM等问题时JVM内存管理是绕不开的话题。本文以Direct Memory为切入点,探索堆外内存、直接内存、以及他们在Java NIO源码中如何体现的。最后,简单介绍Jav...

2022-03-31
1

【Flink】第二十一篇:HBase 写热点问题实战

HBase的设计思想主要是LSM。参见【Flink】第十四篇:LSM-Tree一般性总结。而LSM存储引擎的主要设计思想就是不断的将内存的有序存储结构flush到磁盘,这时候会在磁盘形成一个个的小的文件,如果每次都去做新文件和旧文件的...

2022-03-31
1

【Flink】第二十篇:HBase GC 调优实战

经过测试环境的基本验证后,在线上试跑我们的Flink SQL批量从Hive抽数到HBase程序,出现了GC时间超阈值的警告,

2022-03-31
1

【Flink】第十九篇:从一个批量写HBase性能问题到一个Flink issue的距离

最近,在用Flink SQL批量写HBase,做调度。主要遇到了三个大坑,在接下来的三篇文章中逐个记录。三个大坑分别是,

2022-03-31
1

【Flink】第十七篇:记一次牛轰轰的OOM故障排查

昨天,分析修复了一个connector的问题。下面开始陈述整个过程,依旧按照之前的陈述思路进行:

2022-03-31
1

【Flink】第十六篇:源码角度分析 sink 端的数据一致性

【Flink】第四篇:【迷思】对update语义拆解D-、I+后造成update原子性丢失

2022-03-31
1

【Flink】第十五篇:Redis Connector 数据保序思考

近期,我们基于Flink SQL的实时数仓逐渐过渡到DWS层,接到一些对于最终计算指标需要入HBase和Redis等存储引擎以便于下游的各类数据服务可以获取。所以需要一个Redis Connector。...

2022-03-31
1

【Flink】第十四篇:LSM-Tree一般性总结

【Flink】第十二篇:记kudu-connector写CDC数据的-D数据时,报主键不存在的异常

2022-03-31
1

【Flink】第十三篇:JVM思维导图

【Flink】第十二篇:记kudu-connector写CDC数据的-D数据时,报主键不存在的异常

2022-03-31
1

【Flink】第十二篇:记kudu-connector写CDC数据的-D数据时,报主键不存在的异常

写到kudu表,用的connector是根据apache bahir的kudu-connector修改的jar

2022-03-31
1