【发布时间】:2014-11-10 21:06:26
【问题描述】:
我有一个非常大的文件。获得行数的最快方法是什么。以下是我考虑过的一些选项:
wc -l file.txt
sed -n '$=' file.txt
对于大文件(100GB 或更大),最快的方法是什么?
【问题讨论】:
我有一个非常大的文件。获得行数的最快方法是什么。以下是我考虑过的一些选项:
wc -l file.txt
sed -n '$=' file.txt
对于大文件(100GB 或更大),最快的方法是什么?
【问题讨论】:
这是关于不同选项的interesting discussion。基准复制在这里:
0.024 sec (avg) - wc -l file.txt
0.121 sec (avg) - sed -n '$=' file.txt
0.396 sec (avg) - nl file.txt | tac |sed -n 1p | awk '{print $1}
在 18 Mb - 500,000 行文件上运行。
【讨论】:
nl file.txt | tac | awk '{print $1;exit}'