如何按行数限制（或截断）文本文件？

Question

我想使用终端/shell 截断或以其他方式将文本文件限制为一定数量的行。

我有一个完整的文本文件目录，每个文件只有前约 50k 行有用。

如何删除超过 50000 的所有行？

Answer 1

使用 sed 确实很容易：

sed -n '1,50000 p' filename

这只会打印文件“文件名”中的第 1 到 50000 行。

Answer 2

就地截断

要使用 sed 就地截断文件，您可以执行以下操作：

sed -i '50001,$ d' filename

• -i 表示就位。
• d 表示删除。
• 50001,$ 表示从 50001 到结尾的行。

您可以通过向-i 添加扩展参数来备份文件，例如.backup 或.bak：

sed -i.backup '50001,$ d' filename

在OS-X or FreeBSD 中，您必须向-i 提供一个参数 - 所以要在避免备份的同时做到这一点：

sed -i '' '50001,$ d' filename

长参数名称版本如下，有和没有备份参数：

sed --in-place '50001,$ d' filename
sed --in-place=.backup '50001,$ d' filename

新建文件

要创建一个新的截断文件，只需从头重定向到新文件：

head -n50000 oldfilename > newfilename

• -n50000 表示行数，head 否则默认为 10。
• > 表示重定向到，覆盖可能存在的任何其他内容。
• 如果您要追加到新文件中，请将 >> 替换为 >。

很遗憾，您无法重定向到同一个文件，这就是建议使用 sed 进行就地截断的原因。

没有sed？试试 Python！

这比 sed 输入更多。毕竟，Sed 是“流编辑器”的缩写，这也是使用它的另一个原因，也是该工具适合的用途。

这是在 Linux 和 Windows 上使用 Python 3 测试的：

from collections import deque
from itertools import islice

def truncate(filename, lines):
    with open(filename, 'r+') as f:
        blackhole = deque((),0).extend
        file_iterator = iter(f.readline, '')
        blackhole(islice(file_iterator, lines))
        f.truncate(f.tell())

解释Python：

黑洞的工作方式类似于/dev/null。这是deque 和maxlen=0 上的绑定extend 方法，这是在Python 中耗尽迭代器的最快方法（我知道）。

我们不能简单地遍历文件对象，因为tell 方法会被阻塞，所以我们需要iter(f.readline, '') 技巧。

这个函数演示了上下文管理器，但它有点多余，因为 Python 会在退出函数时关闭文件。用法很简单：

>>> truncate('filename', 50000)