最新 最热

字节跳动基于 Apache Hudi 构建实时数仓的实践

导读:今天很高兴能与大家分享字节数据平台在实时数仓中的一些实践。目前在数据湖和Hudi相关的一些基本技术原理方面社区已有较多的介绍,所以我们今天的分享主要聚焦于实践部分的内容。...

2022-10-05
1

Flink本地模式安装和使用

不同版本的Flink对JDK版本要求不尽相同,需要根据具体的Flink版本要求先安装好JDK环境。 通常,在Flink的Release Notes中有对应JDK版本的说明,如:Release Notes for Flink 1.15 ,要求安装JDK11。 下载JDK 并进行安装配置。...

2022-10-05
1

大数据-Flink编程

groupBy会将一个DataSet转化为一个GroupedDataSet,聚合操作会将GroupedDataSet转化为DataSet。如果聚合前每个元素数据类型是T,聚合后的数据类型仍为T。

2022-10-04
1

大数据-Flink环境部署(Windows)及Flink编程

Flink有个UI界面,可以用于监控Flilnk的job运行状态http://localhost:8081/

2022-10-04
1

ChunJun&OceanBase联合方案首次发布:构建一体化数据集成方案

8月27日,ChunJun社区与OceanBase社区联合组织的开源线下Meetup成功举办,会上重磅发布了「OceanBase&ChunJun:构建一体化数据集成方案」。

2022-09-29
1

用近乎实时的分析来衡量Uber货运公司的指标

◆ 简介虽然大多数人都熟悉Uber,但并非所有人都熟悉优步货运, 自2016年以来一直致力于提供一个平台,将托运人与承运人无缝连接。我们正在简化卡车运输公司的生活,为承运人提供一个平台,使其能够浏览所有可用的货运机会,并...

2022-09-28
1

友联样式美化

新建文件 博客根目录source_datalink.yml ,没有 _data 文件夹的话也请自己新建打开 博客根目录source_datalink.yml ,输入

2022-09-28
1

超强 Python 数据可视化库,一文全解析

今天给大家分享一篇可视化干货,介绍的是功能强大的开源 Python 绘图库 Plotly,教你如何用超简单的(甚至只要一行!)代码,绘制出更棒的图表。

2022-09-28
1

实时即未来,车联网项目之原始终端数据实时ETL【二】

文章目录Flink 将报文解析后的数据推送到 kafka 中实时ETL开发原始数据的实时ETL设置开发的流程开发的类名 —— KafkaSourceDataTask设置 checkpoint 中 statebackend数据积压和反压机制抽象 BaseTask 用于处理数据...

2022-09-27
1

Flink学习之flink sql「建议收藏」

大家好,又见面了,我是你们的朋友全栈君。

2022-09-24
1