从 Bash 脚本中逐行读取 2gb 文件会导致“xmalloc:cannot allocate...”错误

Question

在 bash 脚本中打开文件描述符并逐行读取文件时，脚本在处理 70K 行后终止并出现内存分配错误：

xmalloc: 无法分配 11541 字节（已分配 0 字节）

环境： 明威32 Bash：3.1.20(4)-release (i686-pc-msys) 操作系统：Windows 7

输入文件的大小：每个 1.2 GB

脚本如下：

#!/bin/bash
echo Left: $1
echo Right: $2
echo >"$1.diff"
echo >"$2.diff"
exec 4<"$1"
exec 5<"$2"
LINECOUNT=0
while [ $? == 0 ]
do
    exec 0<&4
    read LEFTLINE
    exec 0<&5
    read RIGHTLINE

    if [ $? != 0 ]
    then
        exit -1
    fi

    LINECOUNT=$(($LINECOUNT + 1))
    LINEMOD=$(($LINECOUNT % 1000))
    if [[ $LINEMOD == 0 ]]
    then
        echo Line: $LINECOUNT
    fi

    if [ $LEFTLINE != $RIGHTLINE ]
    then
        echo $LEFTLINE >> "$1.diff"
        echo $RIGHTLINE >> "$2.diff"
        echo Mismatch found
    fi
done

正如我上面所说的，脚本工作了很长时间，处理了大约 70K 行，然后终止。我认为它会终止，因为它耗尽了 32 位进程可以占用的所有内存。

脚本的目的是打开两个相同格式和长度的文件，逐行比较。它创建两个输出文件到其中写出不匹配行的位置。我不得不编写脚本，因为我可以使用的所有比较工具都因“内存不足”错误而崩溃或挂起。当我的脚本也崩溃时，我感到很惊讶。我不得不在 C++ 中重写它以使其工作。现在我试图理解为什么 bash 脚本失败了。理论上它不应该在内存中累积文件内容。相反，它应该一次只读取一行并推进文件指针。我试图了解它为什么会崩溃。也许还有另一种方法可以解决我的问题，您可以推荐我可以将其实现为 bash 脚本。

更新：测试了以下修改。它也崩溃了。

while IFS= read -u4 -r LEFTLINE && IFS= read -u5 -r RIGHTLINE
do
    LINECOUNT=$(($LINECOUNT + 1))
    LINEMOD=$(($LINECOUNT % 1000))

Answer 1

借助 cmets 人员对问题的宝贵意见，我们找到了解决方案。 Petesh 正确地评论说在以前的 bash 版本中存在一个错误（或许多错误）导致内存泄漏。 Here 是 Petesh 提供的票的链接。幸运的是，该漏洞已在更新的 bash 版本中得到修复。 所以解决方案是更新 bash。 我使用 bash 版本 4.1.17(9)-release (i686-pc-cygwin) 安装了 cygwin，我的脚本成功完成，只消耗了 1.5 Mb 的内存而没有内存增加。 John Zwinch 还测试了 Bash 4.1.5、x86_64 并确认该版本也修复了该错误。

在解决该问题时，Mark Setchell 和 John Zwinck 建议对脚本进行一些改进。修改并没有解决问题，但使用不同的文件格式使脚本更简单、更可靠。脚本的最终版本如下：

#!/bin/bash
echo Left: $1
echo Right: $2
>"$1.diff"
>"$2.diff"
LINECOUNT=0
while IFS= read -u4 -r LEFTLINE && IFS= read -u5 -r RIGHTLINE
do
    LINECOUNT=$(($LINECOUNT + 1))
    LINEMOD=$(($LINECOUNT % 1000))
    if [[ $LINEMOD == 0 ]]
    then
        echo Line: $LINECOUNT
    fi

    if [ "$LEFTLINE" != "$RIGHTLINE" ]
    then
        echo $LEFTLINE >> "$1.diff"
        echo $RIGHTLINE >> "$2.diff"
        echo Mismatch found
    fi
done 4<"$1" 5<"$2"