大数据压缩处理:数据分卷压缩和分卷压缩解压

2021-04-27 14:16:23 浏览数 (1)

一、前言

最近工作有个需求,用kettle run了好几天的数据,最终产生了1W个文件,94G的大小 公司作为供应商需要提供处理之后的数据给甲方,虽然提供了VPN, 但是网络不稳定会有数据丢失的情况,数据分卷压缩可以很好地解决这个问题 10G的数据,使用好压分卷压缩,每个分卷1G,压缩之后只有6.1G 然后再通过VPN上传到服务器就相对容易能保证数据的完整性

二、数据分卷压缩

1、右键点击文件,选择“添加到压缩文件”

2、压缩文件格式选择“7Z”,压缩分卷大小这里选择了1G

 压缩之每个分卷压缩文件的文件名以 xxx,7z.00n 结尾,文件大小只有6.1个G

三、分卷压缩解压

分卷压缩文件只需要解压第一个文件,软件会自动识别压缩文件全部解压 需要注意的是每个分卷文件都缺一不可,并且在同一文件夹下,否则会解压失败 windows解压只需要右键点击第一个文件解压就可以全部解压

linux解压7z文件需要先安装解压工具

代码语言:javascript复制
yum -y install p7zip 

解压命令

代码语言:javascript复制
7za x filename.7z.001

0 人点赞