对大文件字符进行计数

有一列数据的文件，想计算每行数据的重复次数时可以用sort和uniq进行计数：

代码语言：javascript复制

#cat file
hello
world
friend
hello
world
hello

代码语言：javascript复制

sort file |uniq -c 

但是当文件过大时，会报错，显示空间不足： sort: write failed: /tmp/sortbDyE0W: No space left on device

这个时候可以通过awk来进行计数：

代码语言：javascript复制

cat file | awk '{count[$1]  ;} END {for(i in count) {print i count[i]}}' 

参考：https://www.cnblogs.com/hider/p/11834706.html

awk device sort space 数据

0 人点赞