如何将一个大的文本文件拆分为行数相等的小文件

2023-12-28 08:09:33 浏览数 (4)

问:

我有一个大(按行数)纯文本文件,我想把它分成更小的文件,也是按行数。所以,如果我的文件有大约2M行,我想把它分成10个包含20万行的文件,或者100个包含2万行的文件(加上剩余行产生的一个文件,能否被整除无关紧要)。

我可以用Python轻松地完成这个任务,但我想知道是否有任何方式可以用Bash和Unix工具(而不是手动循环和计算/分区行)来完成这个任务。

答:

方法一

使用 split 命令:

代码语言:bash复制
split -l  largefile

测试及验证方式:

代码语言:bash复制
for ((i=1;i<=99998;i  )); do echo $i; done > largefile
split -l 20000 largefile
wc -l xa*

可以使用 split --help 查看帮助文档。

另一个选项,按输出文件的大小(比如 20M 字节)拆分:

代码语言:javascript复制
split -C 20m --numeric-suffixes input_filename output_prefix

方法二

使用 awk 命令:

代码语言:bash复制
awk -v lines= -v fmt="f-%d.txt" '{print>sprintf(fmt, 1 int((NR-1)/lines))}' largefile

测试截图如下:

参考文档:

  • stackoverflow question 2016894
  • https://www.man7.org/linux/man-pages/man1/split.1.html

1 人点赞