目前基于ELK架构的日志系统，通过filebeat收集上来的日志都会发送到同一个kafka topic中，然后再由Logstash消费处理写入Elasticsearch中，这种方式导致该topic包含所有业务日志，那么各个业务去做实时统计分析就会造成重复消...

Flink目前对于外部Exactly-Once写支持提供了两种的sink，一个是Kafka-Sink，另一个是Hdfs-Sink，这两种sink实现的Exactly-Once都是基于Flink checkpoint提供的hook来实现的两阶段提交模式来保证的，主要应用在实时数仓、topi...

operator chain是指将满足一定条件的operator 链在一起，放在同一个task里面执行，是Flink任务优化的一种方式，在同一个task里面的operator的数据传输变成函数调用关系，这种方式减少数据传输过程。常见的chain例如：source->m...

watermark的生成策略有两种：一种是周期性生成，另外一种是根据特定标记生成。在实际使用中大多数情况下会选择周期性生成方式也就是AssignerWithPeriodicWatermarks方式，使用方式如下：...

锁用于多线程安全场景下，在Flink中存在一把锁，被用于数据处理线程、定时器调用线程、checkpoint线程。在StreamTask中定义了一个Object对象lock，通过使用synchronized方式进行同步，在task的初始化过程中该对象传给了Syste...

接下来详细说一下在这几个方面做的一些事情以及如何解决遇到的一些问题与将要做的事情。

在前面提到的精确去重方案都是会保存全量的数据，但是这种方式是以牺牲存储为代价的，而hyperloglog方式虽然减少了存储但是损失了精度，那么如何能够做到精确去重又能不消耗太多的存储呢，这篇主要讲解如何使用bitmap做精确...

在Flink去重第一弹:MapState去重中介绍了使用编码方式完成去重，但是这种方式开发周期比较长，我们可能需要针对不同的业务逻辑实现不同的编码，对于业务开发来说也需要熟悉Flink编码，也会增加相应的成本，我们更多希望能够以s...

在上一篇StreamOperator源码简析从源码角度分析了StreamOperator以及其实现类，此篇幅主要分析一下如何自定义一个StreamOperator。

本篇幅介绍Flink Table/SQL中如何自定义一个表函数(TableFunction)，介绍其基本用法以及与源码结合分析其调用流程。