Taier 是一个大数据分布式可视化的DAG任务调度系统，旨在降低ETL开发成本、提高大数据平台稳定性，大数据开发人员可以在 Taier 直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将...

Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。...

安装依赖yum install -y rsync创建脚本创建脚本mkdir /data/tools/bigdata/mysh/vi /data/tools/bigdata/mysh/distribution.sh内容如下#!/bin/bash#集群节点间文件或文件夹分发脚本USAGE="使用方法：s......

http://mirrors.aliyun.com/centos/7/isos/x86_64/

断点续传是指数据同步任务在运行过程中因各种原因导致任务失败，不需要重头同步数据，只需要从上次失败的位置继续同步即可，类似于下载文件时因网络原因失败，不需要重新下载文件，只需要继续下载就行，可以大大节省时间和计算资...

目录 一、背景二、概念三、特性四、工作原理五、快速开始1.数据同步任务模版kafka to kudumysql to hive 2.数据同步执行命令flinkx老版本命令参数：flinkx老版本执行命令： chunjun新版本执行命令：（明显看出命令还是减少...

本文详细阐述了在 “批处理后，流处理之前” 进行文件 Clustering 操作的方法。该方法可以将众多小文件合并成数量极少的大文件，从而防止过多小文件的产生。...

的确，这些年，越来越多开发，转行做大数据，又或通过大数据打造自己的竞争力（比如很多 Java 开发都会学学大数据），核心原因有三点：

上一次发文，好像还是上一次，鸽了这么久，开始还是有一些心理负担的，但是时间长了，好像就坦然了一些，但问题终究还是要面对的，所以今天我来了。。。...

flink提交作业是通过flink run进行提交的，可以从提交脚本中看到启动类即程序的入口是：