在大数据的实时处理中,实时的大屏展示已经成了一个很重要的展示项,比如最有名的双十一大屏实时销售总价展示。除了这个,还有一些其他场景的应用,比如我们在我们的后台系统实时的展示我们网站当前的pv、uv等等,其实做法都是...
随着这几年大数据技术的迅猛发展,人们对于处理数据的要求也越来越高,由最早的MapReduce,到后来的hive、再到后来的spark,为了获取更快、更及时的结果,计算模型也在由以前的T+1的离线数据慢慢向流处理转变,比如每年双十一阿...
今天我们主要聊聊flink中的一个接口org.apache.flink.api.common.functions.AggregateFunction,这个类可以接在window流之后,做窗口内的统计计算。
紧接着上一篇文章【FLINK实战-使用CEP进行网站监控报警和报警恢复】,上一篇主要讲了怎么对数据流做监控报警,但是实际生产环境中,可能我们对这个报警的阈值设置成多大也没有一个准,可能需要根据经验不断的来修改,所以就涉...
上一篇介绍了使用sql将流式数据写入文件系统,这次我们来介绍下使用sql将文件写入hive,对于如果想写入已经存在的hive表,则至少需要添加以下两个属性. 写入hive底层还是和写入文件系统一样的,所以对于其他具体的配置参考...
原文:https://www.ververica.com/blog/manage-rocksdb-memory-size-apache-flink翻译:zhangjun,英语水平不太好,如有问题,请大家不吝赐教
flink CEP(Complex event processing),是在Flink之上实现的复杂事件处理库,可以允许我们在不断的流式数据中通过我们自己定义的模式(Pattern)检测和获取出我们想要的数据,然后对这些数据进行下一步的处理。通过各种pattern的...
cannot be cast to com.google.protobuf.Message
当我们想给flink贡献自己的代码的时候,就需要把代码下载下来,然后导入自己的IDE,其中有一个很重要的环节就是对代码规范的检查,也就是flink的checkstyle,如果我们只是靠在用maven编译的时候的出错信息来对flink进行调试,那...
在flink 1.11之前的版本中,提供了两种生成水印(Watermark)的策略,分别是AssignerWithPunctuatedWatermarks和AssignerWithPeriodicWatermarks,这两个接口都继承自TimestampAssigner接口。...