最新 最热

Flink SQL窗口表值函数(Window TVF)聚合实现原理浅析

表值函数(table-valued function, TVF),顾名思义就是指返回值是一张表的函数,在Oracle、SQL Server等数据库中屡见不鲜。

2022-06-05
1

Flink 细粒度资源管理新特性解读

ApacheFlink努力为所有现成的应用程序自动导出合理的默认资源需求。对于希望根据特定场景的知识微调资源消耗的用户,Flink提供细粒度资源管理。

2022-06-05
1

Flink新特性之非对齐检查点(unaligned checkpoint)详细解析

作为 Flink 最基础也是最关键的容错机制,Checkpoint 快照机制很好地保证了 Flink 应用从异常状态恢复后的数据准确性。

2022-06-05
1

基于Flink1.14 + Iceberg0.13构建实时数据湖实战

Iceberg默认支持Hadoop Catalog。如果需要使用Hive Catalog,需要将flink-sql-connector-hive-3.1.2_2.12-1.14.3.jar放到Flink集群所有服务器的lib目录下,然后重启Flink

2022-06-05
1

Flink生产实时监控和预警配置解析

在实际的Flink 项目中,如何观察Flink的性能,如何监控Flink的运行状态,如何设置报警策略?下面简单讲下我的经验吧。

2022-06-05
1

在k8s手工搭建flink+zookeeper standalone高可用集群笔记

ZOOKEEPER 3节点 FLINK JOB-MANAGER 3节点 每个节点一个pod FLINK TASK-MANAGER N节点 通过k8s replicas 扩缩容 负载均衡 1节点

2022-06-02
1

关于大数据的完整讲解

ELT的过程是,在抽取后将结果先写入目的地,然后利用数据库的聚合分析能力或者外部计算框架,如Spark来完成转换

2022-06-02
1

电商反欺诈比赛的方案及代码分享!

本次 Apache Flink 极客挑战赛暨 AAIG CUP——电商推荐“抱大腿”攻击识别 赛题以电商推荐反作弊为背景,要求选手在少样本、半监督、隐私保护的场景下搭建风控模型来实时预测用户点击商品的行为是否恶意,实现对恶意流量...

2022-06-02
1

flink 一次job卡deploying故障解决

由日志可见,从jobmanager加载作业jar包时下载失败,加载jar的端点是link-session-cluster-jobmanager.test.svc.cluster.local/172.24.185.10:6124

2022-06-01
1

flink指定jobid

org.apache.flink.streaming.api.environment.StreamExecutionEnvironment

2022-06-01
1