问:
我有一个大(按行数)纯文本文件,我想把它分成更小的文件,也是按行数。所以,如果我的文件有大约2M行,我想把它分成10个包含20万行的文件,或者100个包含2万行的文件(加上剩余行产生的一个文件,能否被整除无关紧要)。
我可以用Python轻松地完成这个任务,但我想知道是否有任何方式可以用Bash和Unix工具(而不是手动循环和计算/分区行)来完成这个任务。
答:
方法一
使用 split 命令:
代码语言:bash复制split -l largefile
测试及验证方式:
代码语言:bash复制for ((i=1;i<=99998;i )); do echo $i; done > largefile
split -l 20000 largefile
wc -l xa*
可以使用 split --help 查看帮助文档。
另一个选项,按输出文件的大小(比如 20M 字节)拆分:
代码语言:javascript复制split -C 20m --numeric-suffixes input_filename output_prefix
方法二
使用 awk 命令:
代码语言:bash复制awk -v lines= -v fmt="f-%d.txt" '{print>sprintf(fmt, 1 int((NR-1)/lines))}' largefile
测试截图如下:
参考文档:
- stackoverflow question 2016894
- https://www.man7.org/linux/man-pages/man1/split.1.html