最新 最热

Flink 1.17发布后数据开发领域需要关注的一些点

第二和第三点是当前对大家开发影响最大的,Flink Batch的能力现在已经比较完善和稳定,很多离线导数的批任务很多大厂已经从原来的类似DataX这样的工具切换到Flink Batch SQL。例如下面的2个场景:...

2023-04-07
1

Flink记录

解答: 1. 我们使用 yarn session 模式提交任务。每次提交都会创建一个新的 Flink 集群,为每一个 job 提供一个 yarn-session,任务之间互相独立,互不影响, 方便管理。任务执行完成之后创建的集群也会消失。线上命令脚本如下...

2023-03-31
1

Flink创始团队二次创业再被收购,Kafka母公司与阿里“遭遇战”已经开始

作者 | 褚杏娟当地时间 1 月 6 日,Confluent 联合创始人兼 CEO Jay Kreps 发布公告称,Confluent 已经签署了收购 Immerok 的最终协议,但其并未公布收购金额。Immerok 是一家支持专注云上构建和运行 Apache Flink 的创企,开...

2023-03-29
1

大数据Flink进阶(三):Flink核心特性

Flink具有先进的架构理念,拥有诸多的优秀特性以及完善的编程接口,Flink的优势有以下几点:

2023-03-18
1

大数据Flink进阶(五):Flink开发环境准备

学习一门新的编程语言时,往往会从"hello world"程序开始,而接触一套新的大数据计算框架时,则一般会从WordCount案例入手,下面以大数据中最经典入门案例WordCount为例,来编写Flink代码,Flink底层源码是基于Java代码进行开发,...

2023-03-18
1

大数据Flink进阶(四):Flink应用场景以及其他实时计算框架对比

在实际生产的过程中,大量数据在不断地产生,例如金融交易数据、互联网订单数据、GPS定位数 据、传感器信号、移动终端产生的数据、通信信号数据等,以及我们熟悉的网络流量监控、服务器产生的日志数据,这些数据最大的共同点...

2023-03-18
1

Flink-mysql源-esSink

1实体对象package com.shi.mysqlEsTest;import java.io.Serializable;import java.util.Arrays;import java.util.Date;import java.util.List;/** * 电站信息ES对象 * * @...

2023-03-16
1

Flink-kafka源-esSink

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" x

2023-03-16
1

Flink SQL 优化

Flink SQL可以指定空闲状态(即未更新的状态)被保留的最小时间 当状态中某个 key对应的 状态未更新的时间达到阈值时, 该条状态被自动清理。

2023-03-08
1

apache hudi 0.13.0版本重磅发布

Apache Hudi 0.13.0引入了一系列新特性,包括Metaserver, Change Data Capture, new Record Merge API, new sources for Deltastreamer等。虽然此版本不需要表版本升级,但希望用户在使用 0.13.0 版本之前按照下面的迁移...

2023-03-07
1