DataX单节点部署

2024-08-08 00:19:18 浏览数 (1)

介绍

DataX 是一个开源的数据传输工具,主要用于在不同的数据源之间进行数据的同步和迁移。通俗来说,DataX 就像一个“数据快递员”,负责把数据从一个地方送到另一个地方。

例子:

想象一下一个快递公司。

数据迁移:一家商店决定将库存数据从一个旧的管理系统转移到新的系统。快递公司负责把这些数据“打包”并送到新的管理系统,这就像 DataX 进行数据迁移。

数据同步:商店每天会有新的商品进货,快递公司会定期来收集这些更新的信息,并把它们送到新的系统,确保库存信息始终是最新的。这就类似于 DataX 的数据同步功能。

支持多种数据源:快递公司不仅可以送包裹,还可以送文件、食品等各种类型的货物。DataX 也是如此,它可以处理不同类型的数据源,灵活地进行数据传输。

前提工作

下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

代码语言:shell复制
cd /opt/module

# 解压
tar -zxvf datax.tar.gz

检查

代码语言:shell复制
# 执行脚本
python /opt/module/datax/bin/datax.py /opt/module/datax/job/job.json

# 出现如下内容,则成功
2023-11-12 12:21:18.315 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2021-10-12 21:51:02
任务结束时刻                    : 2021-10-12 21:51:12
任务总计耗时                    :                 10s
任务平均流量                    :          253.91KB/s
记录写入速度                    :          10000rec/s
读出记录总数                    :              100000
读写失败总数                    :                   0

0 人点赞