【问题标题】:Quickest way to get number of lines in a file [duplicate]获取文件中行数的最快方法[重复]
【发布时间】:2014-11-10 21:06:26
【问题描述】:

我有一个非常大的文件。获得行数的最快方法是什么。以下是我考虑过的一些选项:

wc -l file.txt

sed -n '$=' file.txt

对于大文件(100GB 或更大),最快的方法是什么?

【问题讨论】:

    标签: python unix sed


    【解决方案1】:

    这是关于不同选项的interesting discussion。基准复制在这里:

    0.024 sec (avg) - wc -l file.txt
    0.121 sec (avg) - sed -n '$=' file.txt
    0.396 sec (avg) - nl file.txt | tac |sed -n 1p | awk '{print $1}
    

    在 18 Mb - 500,000 行文件上运行。

    【讨论】:

    • 最后一个变种可以写成nl file.txt | tac | awk '{print $1;exit}'
    猜你喜欢
    • 2023-03-22
    • 2018-07-10
    • 2013-10-19
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多