一、前言
最近工作有个需求,用kettle run了好几天的数据,最终产生了1W个文件,94G的大小 公司作为供应商需要提供处理之后的数据给甲方,虽然提供了VPN, 但是网络不稳定会有数据丢失的情况,数据分卷压缩可以很好地解决这个问题 10G的数据,使用好压分卷压缩,每个分卷1G,压缩之后只有6.1G 然后再通过VPN上传到服务器就相对容易能保证数据的完整性
二、数据分卷压缩
1、右键点击文件,选择“添加到压缩文件”
2、压缩文件格式选择“7Z”,压缩分卷大小这里选择了1G
压缩之每个分卷压缩文件的文件名以 xxx,7z.00n 结尾,文件大小只有6.1个G
三、分卷压缩解压
分卷压缩文件只需要解压第一个文件,软件会自动识别压缩文件全部解压 需要注意的是每个分卷文件都缺一不可,并且在同一文件夹下,否则会解压失败 windows解压只需要右键点击第一个文件解压就可以全部解压
linux解压7z文件需要先安装解压工具
代码语言:javascript复制yum -y install p7zip
解压命令
代码语言:javascript复制7za x filename.7z.001