最新 最热

大数据开发之Flink连接Hive

需要将配置了hive.metastore.uris的配置文件复制到项目resources路径下

2022-11-22
1

大数据开发之Flink Table操作

前言本文使用环境版本Hive:2.3.9Flink:flink-1.12.7-bin-scala_2.12依赖<?xml version="1.0" encoding="UTF-8"?><

2022-11-22
1

大数据开发之Flink远程调试

前言在开发Flink程序的时候很多时候我们本地打包Jar在服务器中运行,比较麻烦。我们就可以使用以下的方式来让远程服务器运行本地程序。步骤添加运行配置...

2022-11-22
1

Flink中: 你的Function是如何被执行的

在Flink编程中,不管你是使用DataStream api还是 Table/SQL ,接触最多的就是UserFunction , 比喻说MapFunction、ScalarFunction, 在这些Function 里面可以自定义用户的业务处理逻辑,但是这些Function是如何被调用的呢?本文...

2022-11-21
1

Flink简介

Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。...

2022-11-21
1

Flink JobManager内存管理机制介绍与调优总结

作者:董伟柯,腾讯云大数据高级工程师概要我们知道,旧版本 Flink 的 JobManager 作为管理者,只承担着初始化和协调的任务,内存压力非常小,很少出现 OOM 等问题。但是,随着 Flink CDC [1] 实时数据捕获技术的广泛应用,以及采用 ...

2022-11-18
1

开源共建 | Dinky 扩展批流统一数据集成框架 ChunJun 的实践分享

ChunJun(原 FlinkX)是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具,既可以采集静态的数据,比如 MySQL,HDFS 等,也可以采集实时变化的数据,比如 binlog,Kafka 等。同时 ChunJun 也是一个支持原生 FlinkSql 所...

2022-11-18
1

干货 | 5000字教你如何使用命令行查看应用日志以及YARN应用日志相关参数解析

对于从事大数据相关工作的朋友来说,在平时应该会跟 yarn 打过不少交道。像 MapReduce on yarn,Spark on yarn,Flink on yarn 等都是需要将应用运行在 yarn 上面的。但是对于应用运行日志的查看,yarn 却不像寻常服务那样方...

2022-11-17
1

干货 | YARN 应用日志相关参数解析及如何使用命令行查看应用日志

对于从事大数据相关工作的朋友来说,在平时应该会跟 yarn 打过不少交道。像 MapReduce on yarn,Spark on yarn,Flink on yarn 等都是需要将应用运行在 yarn 上面的。但是对于应用运行日志的查看,yarn 却不像寻常服务那样方...

2022-11-17
1

Flink教程(30)- Flink VS Spark[通俗易懂]

Spark Streaming 运行时的角色(standalone 模式)主要有:

2022-11-16
1