最新 最热

实时数据湖:Flink CDC流式写入Hudi

•Flink 1.12.2_2.11•Hudi 0.9.0-SNAPSHOT(master分支)•Spark 2.4.5、Hadoop 3.1.3、Hive 3.1.2

2021-07-05
1

触宝科技基于Apache Hudi的流批一体架构实践

当前公司的大数据实时链路如下图,数据源是MySQL数据库,然后通过Binlog Query的方式消费或者直接客户端采集到Kafka,最终通过基于Spark/Flink实现的批流一体计算引擎处理,最后输出到下游对应的存储。...

2021-07-05
1

0845-7.1.6-集群外配置Kerberos环境的Gateway节点

在使用CDH/CDP集群过程中会遇到在集群外的节点使用Hadoop命令访问集群(如:HDFS、HBASE、HIVE、SPARK、YARN)等命令操作,这时又不想将该节点添加到CDH/CDP集群中管理,本篇文章主要介绍如何在集群外节点不通过CM部署一个Gate...

2021-07-05
1

0843-7.1.6-如何在CDP中部署Flink1.12

本篇文章主要介绍如何在CDP 7.1.6集群中使用Parcel的方式安装Flink1.12。

2021-07-05
1

CSA1.4新功能

3 月底,作为 Cloudera Streaming Analytics 1.3 的一部分,我们发布了Cloudera SQL Stream Builder的第一个版本。它使用户能够轻松地编写、运行和管理对来自 Apache Kafka 的流的实时 SQL 查询,并提供异常流畅的用户体验...

2021-07-02
1

CSA1.4:支持SQL流批一体化

2020 年 10 月 Cloudera 收购了 Eventador,Cloudera Streaming Analytics (CSA) 1.3.0 于 2021 年初发布,该版本是从收购中合并 SQL Stream Builder (SSB) 的第一个版本,它将丰富的 SQL 处理带到已经很强大的 Apache F.....

2021-07-02
1

用Flink SQL流化市场数据2:盘中VoR

本文是一个由多部分组成的系列文章的第二篇,该系列文章展示了FlinkSQL应用于市场数据的功能和可表达性。万一您错过了它,第一部分从计算流VWAP的简单情况开始。该系列的代码和数据可在github上获得。...

2021-07-02
1

使用Flink SQL传输市场数据1:传输VWAP

本文是一个由多部分组成的系列文章的第一篇,展示了FlinkSQL应用于市场数据的强大功能和可表达性。该系列的代码和数据可在github上获得。它由量化建模负责人Simudyne和Krishnen Vytelingum合着。...

2021-07-02
1

从头分析flink源码第三篇之jobGraph的生成

上一篇中我们分析了一个简单的flink wordcount程序由DataStream的transformation列表转换成StreamGraph的过程,紧接着上文的步骤,本文我们着重分析一下从streamGraph生成jobGraph的过程。...

2021-07-01
1

flink源码从头分析第一篇之WordCount DataStream操作

每个应用程序都有一个hello world代码,在flink里面这个hello world一般就是一段wordcount程序,我们来尝试通过一段wordcount代码来逐步剖析flink的执行过程。毫无疑问,这将是一个系列,而且笔者没办法保证能有足够的空闲时...

2021-07-01
1