Flink是下一代大数据计算平台,可处理流计算和批量计算。《Flink-1.9流计算开发:十二、apply函数》cosmozhu写的本系列文章的第十二篇。通过简单的DEMO来演示apply函数执行的效果 。
需求
本篇文章,我们通过apply函数,来实现对10s窗口期内的数据的过滤效果。
解决方案
代码语言:javascript复制public static void main(String[] args) throws Exception {
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
// 添加自定义数据源,每秒发出一笔订单信息{商品名称,商品数量}
DataStreamSource<Tuple2<String, Integer>> orderSource = env
.addSource(new SourceFunction<Tuple2<String, Integer>>() {
private volatile boolean isRunning = true;
private final Random random = new Random();
@Override
public void run(SourceContext<Tuple2<String, Integer>> ctx) throws Exception {
while (isRunning) {
TimeUnit.SECONDS.sleep(1);
ctx.collect(Tuple2.of(TYPE[random.nextInt(TYPE.length)], 1));
}
}
@Override
public void cancel() {
isRunning = false;
}
}, "order-info");
orderSource.
// 未使用keyby分区流的时间窗口
timeWindowAll(Time.seconds(10))
// apply 函数是对窗口内的数据做处理的核心方法。这是对10s窗口中的所有元素做过滤,只输出商品名称为苹果的订单
.apply(new AllWindowFunction<Tuple2<String, Integer>, String, TimeWindow>() {
@Override
public void apply(TimeWindow window, Iterable<Tuple2<String, Integer>> values,
Collector<String> out) throws Exception {
values.forEach(v -> {
if(v.f0.contentEquals("苹果")) {
out.collect(v.f0 ":" v.f1);
}
});
}
}).print();
env.execute("Flink Streaming Java API Skeleton");
}
执行效果
代码语言:javascript复制2> 苹果:1
3> 苹果:1
4> 苹果:1
1> 苹果:1
2> 苹果:1
3> 苹果:1
4> 苹果:1
小结
apply函数时Time窗口函数的具体业务实现部分,对窗口期内的数据处理都应该是写在apply函数中。
代码地址
代码语言:javascript复制https://github.com/chaoxxx/learn-flink-stream-api/blob/master/src/main/java/fun/cosmozhu/session12/StreamTest.java
作者:cosmozhu --90后的老父亲,专注于保护地球的程序员
个人网站:https://www.cosmozhu.fun
欢迎转载,转载时请注明出处。
相关文章
- Flink-1.9流计算开发:十六、intervalJoin函数
- Flink-1.9流计算开发:十五、join函数
- Flink-1.9流计算开发:十四、union函数
- Flink-1.9流计算开发:十三、min、minBy、max、maxBy函数
- Flink-1.9流计算开发:十一、count-window-Sliding窗口函数