输入:语料库位置(data) 数据下载路径(data_url)
输出:在$data文件夹下新增解压后的语料库(corpus和transcript文件夹,corpus含音频文件和说话人信息等)
可选参数:
- --remove-archive 决定是否要在解压后删除data压缩包(默认关闭)
local/download_and_untar.sh $data $data_url aidatatang_200zh || exit 1;
流程:
代码语言:javascript复制1.判断是否开启解压后删除压缩包的开关(根据--remove-archive 参数,默认关闭)
2.判断参数是否等于3个(不包含删除压缩包的参数)
3.检验参数有效性(例如文件夹是否存在,下载地址长度是否大于0等,语料库名是否正确【这里需要为aidatatang_200zh】)
4.判断是否已经存在数据并解压完成,完成则退出,未完成则继续
5.判断在$data目录下是否存在aidatatang_200zh.tgz的文件
5.1 如果有,则判断压缩包大小是否正确。错误则删除压缩包
5.2 如果没有,则使用$data_url下载
6.tar -xvzf 数据压缩包
7.处理完后会在$data/$part/添加.complete文件
8.将corpus/下的train/test/dev的wav压缩包分别解压至各目录下,并删除压缩包
9.如果有开启删除压缩包的开关则删除数据压缩包(18G那个)
备注:
解压后产生.complete、corpus和transcript(.complete和两个文件夹同一级目录) co