最新 最热

Flink 1.14.0 内存优化你不懂?跟着土哥走就对了(万字长文+参数调优)

自从写 Flink 系列文章,收到了太多读者的私信,希望我不断更新完善 Flink 专栏,为此,土哥还专门创建了一个文档,用来记录粉丝和读者在使用 Flink 组件时遇到的典型问题。...

2021-10-26
1

数据湖YYDS! Flink+IceBerg实时数据湖实践

互联网技术发展的当下,数据是各大公司最宝贵的资源之一已经是不争的事实。收据的收集、存储和分析已经成为科技公司最重要的技术组成部分。大数据领域经过近十年的高速发展,无论是实时计算还是离线计算、无论是数据仓库...

2021-10-25
1

hudi同步hive出现错误java.lang.NoSuchMethodError

flink写入hudi,开启自动同步hudi表结构如下:CREATE TABLE myhive.test.hudi_users2_m_has_s ( id BIGINT PRIMARY KEY NOT ENFORCED, name STRING, birthday TIMES...

2021-10-22
1

大数据学习必备 | 推荐几个牛X 的 github 项目,助你事半功倍

大家好,我是 梦想家 Alex 。我们都知道 github 对于程序员们而言,就是一个巨大的“聚宝盆”,上面不仅有很多优质的开源项目,还有很多热爱开源分享的开发者。但如何从浩如烟海的宝藏中,筛选出适合自己的优质项目呢?本期内容,...

2021-10-22
1

干货 | 13道精选Flink面试题

相信小伙伴们对于Flink一定不会感到陌生,作为连续三年蝉联第一,荣膺全球最活跃的 Apache 开源项目,Flink在中国的热度也一直是居高不下。近几年,在社区的推动下,Flink 技术栈在越来越多的公司开始得到应用,因此在大数据的求...

2021-10-22
1

FlinkSQL | 流处理中的特殊概念

上一篇文章,为大家介绍了关于 FlinkSQL 的背景,常见使用以及一些小技巧。学完之后,对于FlinkSQL只能算是简单入了个门。不过不用担心,本篇文章,博主将为大家带来关于 FlinkSQL中流处理的特殊概念,喜欢的话,记得看完点个赞|ू...

2021-10-22
1

指标统计:基于流计算Oceanus(Flink) 实现实时UVPV统计

导语 | 最近梳理了一下如何用Flink来实现实时的UV、PV指标的统计,并和公司内微视部门的同事交流。然后针对该场景做了简化,并发现使用Flink SQL来实现这些指标的统计会更加便捷。 一、解决方案描述 (一)概述 本方案结合...

2021-10-22
1

大数据框架发展史

这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark 的火热或多...

2021-10-21
1

两只松鼠的故事:flink-connector-opengauss

感谢松鼠会大佬的再三邀请。对我来说这算是一篇命题作文,那么我的答案是什么呢?刚好我也很喜欢另外一个松鼠社区,那么就用两只松鼠来做答案吧,没错,Flink和OpenGauss就是我的答案:...

2021-10-19
1

Flink实践-使用 Elasticsearch 作为目的端

实时即未来,最近在腾讯云 Oceanus 进行实时计算服务,分享给大家~本次实践通过流计算 Oceanus (Flink)把数据写入到 ES 目的端。注意点:使用 ES 作为 Sink 时,若源端为MySQL等数据库需要捕捉数据变化使用 MySQL-CDC时,需使用u...

2021-10-18
1