最新 最热

相信我,你也能成为大数据开发工程师(一)

大家好啊,老李最近高产如母猪,我也来凑个热闹。说起来挺魔幻的,去年这时候,我还是一个连java curd都不会的菜鸡,今天却在这里大谈大数据开发- -。我也没想到,等以后有机会可以讲讲写java的心路历程,目前还是一个java菜鸟,也因...

2021-06-17
1

Flink 定时器的4个特性

本文介绍了在 Flink 中使用定时器的一些基本概念和注意事项。开发人员可以使用 Flink 的 ProcessFunction 算子来注册自己的定时器,该算子可以访问流应用程序的一些基本构建块,例如:...

2021-06-17
1

flink为什么会成为下一代数据处理框架--大数据面试

相对于传统的数据处理模式。流式数据处理则有更高的处理效率和成本控制。apache flink 就是近年来在开源社区发展不断发展能够支持同时支持高吞吐,低延迟,高性能分布式处理框架。...

2021-06-15
1

原创干货合集 | 大数据云原生技术实战及最佳实践系列

随着云平台、容器等技术的不断成熟,云原生大数据解决了传统大数据平台建设和运维中的繁琐,使即时可得,按需分配的高效大数据开发平台成为可能。 云原生的到来不止为大数据部署和交付带来了变革,它更是帮助大数据连接了一...

2021-06-15
1

Friend Link Card Beautify

Butterfly 的友链太过单调了。加上之前正好移植了 Volantis 的一堆外挂标签样式,突发奇想用 Site-card 来写友链,效果相当理想。

2021-06-11
1

Flink 快照分析:定位大状态和数据倾斜的算子

在 Flink 作业中,无论是 SQL 还是 JAR 模式,常常会直接或者间接地使用到状态(State)。当 Flink 进行快照时,用户定义的这些状态数据可以被保存在状态点中,以供后续的崩溃恢复。 Flink 的状态分为 Operator State 和 Keyed S...

2021-06-10
0

基于 Flink 实现的商品实时推荐系统(附源码)

根据用户特征,重新排序热度榜,之后根据两种推荐算法计算得到的产品相关度评分,为每个热度榜中的产品推荐几个关联的产品

2021-06-08
1

Flink on YARN模式下TaskManager的内存分配探究

该作业启动了10个TaskManager,并正常运行。来到该任务的Web界面,随便打开一个TaskManager页面,看看它的内存情况。

2021-06-01
1

实时数仓建设思考与方案记录

随着我司业务飞速增长,实时数仓的建设已经提上了日程。虽然还没有正式开始实施,但是汲取前人的经验,做好万全的准备总是必要的。本文简单松散地记录一下想法,不涉及维度建模方法论的事情(这个就老老实实去问Kimball他老人...

2021-05-28
1

一次成功的FlinkSQL功能测试及实战演练

前言:Flink在国内的占有率逐步提升的情况下,各项组件的功能与稳定性也得到逐步提升。为了解决目前已有的复杂需求,尝试研究flinksql的特性与功能,作为是否引入该组件的依据。同时尝试将现有需求通过简单demo的形式进行测...

2021-05-28
1