最新 最热

数据中台数据准备

字符型:varchar、char、nchar、nvarchar、long(在数据库中是以ASCII码的格式存储的)

2023-03-06
1

Flink开发-Mysql数据导入Hive中

Mysql中ResultSet默认会将一次查询的结果存入内存中。如果数据量比较大,就会占用大量的内存。如果内存不够,就会报错。

2023-03-06
1

实时数仓一般性总结

一般也不需要非常仔细地进行数据分层,数据直接通过Flink计算或者聚合之后将结果写MySQL/ES/HBASE/Druid/Kudu等,直接提供应用查询或者多维分析。

2023-03-06
1

django后端服务、logstash和flink接入VictoriaMetrics指标监控

背景:使用的 VictoriaMetrics(简称 VM) 作为监控的解决方案,需要将 django 服务、logstash 和 flink 引擎接入进来,VM 可以实时的获取它们的指标存储并进行监控告警,以上的服务都是部署在 k8s 中的。...

2023-03-04
1

浅谈 Flink 的状态和容错(1)

都说 Flink 是有状态计算,那么什么是状态?状态有什么用?没有状态程序会怎么样?

2023-03-03
1

浅谈 Flink 窗口

https://blog.csdn.net/mynameisgt/article/details/124223193

2023-03-03
1

大数据技术栈之-实时数仓构建

之前说了数据采集方案,数据库的数据,前端埋点数据,IOT数据经过一些中间件或者应用程序采集到Kafka后,分为了两条路线,一条是走离线,一条走实时,离线的会存储到HDFS,然后时候Hive构建离线数据仓库,实时的则进入flink做流式计算...

2023-03-02
1

一文讲透hdfs的delegation token

前一段时间总结了hadoop中的token认证、yarn任务运行中的token,其中也都提到了delegation token。而最近也遇到了一个问题,问题现象是:flink任务运行超过七天后,由于宿主机异常导致任务失败,继而触发任务的重试,但接连重试...

2023-02-28
1

Flink 离线处理案例

Dataset是flink的常用程序,数据集通过source进行初始化,例如读取文件或者序列化集合,然后通过transformation(filtering、mapping、joining、grouping)将数据集转成,然后通过sink进行存储,既可以写入hdfs这种分布式文件系统,...

2023-02-25
1

Flink开发流程

Flink具有特殊类DataSet并DataStream在程序中表示数据。您可以将它们视为可以包含重复项的不可变数据集合。在DataSet数据有限的情况下,对于一个DataStream元素的数量可以是无界的。...

2023-02-25
1