介绍
DataX 是一个开源的数据传输工具,主要用于在不同的数据源之间进行数据的同步和迁移。通俗来说,DataX 就像一个“数据快递员”,负责把数据从一个地方送到另一个地方。
例子:
想象一下一个快递公司。
数据迁移:一家商店决定将库存数据从一个旧的管理系统转移到新的系统。快递公司负责把这些数据“打包”并送到新的管理系统,这就像 DataX 进行数据迁移。
数据同步:商店每天会有新的商品进货,快递公司会定期来收集这些更新的信息,并把它们送到新的系统,确保库存信息始终是最新的。这就类似于 DataX 的数据同步功能。
支持多种数据源:快递公司不仅可以送包裹,还可以送文件、食品等各种类型的货物。DataX 也是如此,它可以处理不同类型的数据源,灵活地进行数据传输。
前提工作
下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
代码语言:shell复制cd /opt/module
# 解压
tar -zxvf datax.tar.gz
检查
代码语言:shell复制# 执行脚本
python /opt/module/datax/bin/datax.py /opt/module/datax/job/job.json
# 出现如下内容,则成功
2023-11-12 12:21:18.315 [job-0] INFO JobContainer -
任务启动时刻 : 2021-10-12 21:51:02
任务结束时刻 : 2021-10-12 21:51:12
任务总计耗时 : 10s
任务平均流量 : 253.91KB/s
记录写入速度 : 10000rec/s
读出记录总数 : 100000
读写失败总数 : 0