PowerShell 管道正在执行时没有垃圾收集

Question

更新： PowerShell 5 似乎解决了以下错误。错误仍然存​​在于 3 和 4 中。因此，除非您正在运行 PowerShell 2 或5.

---

考虑以下代码sn-p：

function Get-DummyData() {
    for ($i = 0; $i -lt 10000000; $i++) {
        "This is freaking huge!! I'm a ninja! More words, yay!"
    }
}

Get-DummyData | Out-Null

这将导致 PowerShell 内存使用量无法控制地增长。在执行了几次Get-DummyData | Out-Null 之后，我看到 PowerShell 内存使用量一直上升到 4 GB。

根据ANTS Memory Profiler，我们在垃圾收集器的终结队列中有很多东西。当我调用[GC]::Collect() 时，内存从 4 GB 变为仅 70 MB。所以严格来说，我们没有内存泄漏。

现在，当我完成一个长期存在的管道操作时，能够致电[GC]::Collect() 对我来说还不够好。我需要在管道操作期间进行垃圾收集。但是，如果我在管道执行时尝试调用 [GC]::Collect()...

function Get-DummyData() {
    for ($i = 0; $i -lt 10000000; $i++) {
        "This is freaking huge!! I'm a ninja! More words, yay!"

        if ($i % 1000000 -eq 0) {
            Write-Host "Prompting a garbage collection..."
            [GC]::Collect()
        }
    }
}

Get-DummyData | Out-Null

...问题仍然存在。内存使用量再次无法控制地增长。我尝试了几种变体，例如添加[GC]::WaitForPendingFinalizers()、Start-Sleep -Seconds 10 等。我尝试更改垃圾收集器latency modes 并强制PowerShell 使用server garbage collection 无济于事。我只是无法让垃圾收集器在管道执行时完成它的工作。

这在 PowerShell 2.0 中根本不是问题。值得注意的是，$null = Get-DummyData 似乎也可以在没有内存问题的情况下工作。所以它似乎与管道有关，而不是我们生成大量字符串这一事实。

如何防止我的内存在长管道期间不受控制地增长？

旁注：

我的 Get-DummyData 函数仅用于演示目的。我的实际问题是我无法使用Get-Content 或Import-Csv 在PowerShell 中读取大文件。不，我不将这些文件的内容存储在变量中。我应该是strictly using the pipeline。 Get-Content .\super-huge-file.txt | Out-Null 产生同样的问题。

Answer 1

这里有几点需要指出。首先，GC 调用确实在管道中工作。这是一个只调用 GC 的管道脚本：

1..10 | Foreach {[System.GC]::Collect()}

这是脚本运行期间 GC 的性能图：

但是，仅仅因为您调用了 GC，并不意味着私有内存使用量将恢复到您在脚本启动之前的值。 GC 收集只会收集不再使用的内存。如果有对对象的根引用，则它没有资格被收集（释放）。因此，虽然 GC 系统通常不会在 C/C++ 意义上泄漏，但它们可能拥有比它们应有的时间更长地持有对象的内存囤积。

在使用内存分析器查看此内容时，似乎大部分多余的内存都被带有参数绑定信息的字符串副本占用：

这些字符串的根如下所示：

我想知道是否有一些日志记录功能导致 PowerShell 挂在字符串化的表单管道绑定对象上？

顺便说一句，在这种特定情况下，分配给 $null 以忽略输出的内存效率要高得多：

$null = GetDummyData

另外，如果您需要简单地编辑文件，请查看PowerShell Community Extensions 3.2.0 中的Edit-File 命令。只要您不使用 SingleString 开关参数，它就应该是内存高效的。

Answer 2

当您执行一些不寻常的事情（例如处理大量文本文件）时，本机 cmdlet 不能完全满足这一点并不少见。就个人而言，我发现在 Powershell 中使用 System.IO.StreamReader 编写大文件会更好：

$SR = New-Object -TypeName System.IO.StreamReader -ArgumentList 'C:\super-huge-file.txt';
while ($line = $SR.ReadLine()) {
    Do-Stuff $line;
}
$SR.Close() | Out-Null;

请注意，您应该在 ArgumentList 中使用绝对路径。对我来说，它似乎总是假设您在具有相对路径的主目录中。

Get-Content 只是将整个对象作为数组读入内存，然后输出。我认为它只是调用 System.IO.File.ReadAllLines()。

我不知道有什么方法可以告诉 Powershell 在完成后立即从管道中丢弃项目，或者函数可能会异步返回项目，因此它会保留顺序。它可能不允许这样做，因为它无法自然地判断该对象以后不会被使用，或者以后的对象不需要引用较早的对象。

Powershell 的另一个好处是您也可以经常adopt the C# answers。我从未尝试过File.ReadLines，但这看起来也很容易使用。