PowerShell 在大型搜索/替换操作中很慢（比 Python 慢得多）？

Question

我有 265 个 CSV 文件，总记录（行）超过 400 万条，需要在所有 CSV 文件中进行搜索和替换。我在下面有一个我的 PowerShell 代码的 sn-p 可以执行此操作，但执行该操作需要 17 分钟：

ForEach ($file in Get-ChildItem C:\temp\csv\*.csv) 
{
    $content = Get-Content -path $file
    $content | foreach {$_ -replace $SearchStr, $ReplaceStr} | Set-Content $file
}

现在我有以下 Python 代码，它执行相同的操作，但执行时间不到 1 分钟：

import os, fnmatch

def findReplace(directory, find, replace, filePattern):
    for path, dirs, files in os.walk(os.path.abspath(directory)):
        for filename in fnmatch.filter(files, filePattern):
            filepath = os.path.join(path, filename)
            with open(filepath) as f:
                s = f.read()
            s = s.replace(find, replace)
            with open(filepath, "w") as f:
                f.write(s)

findReplace("c:/temp/csv", "Search String", "Replace String", "*.csv")

为什么 Python 方法效率更高？是我的 PowerShell 代码效率低下，还是 Python 在文本操作方面只是一种更强大的编程语言？

Answer 1

实际上，我现在面临着类似的问题。在我的新工作中，我必须解析巨大的文本文件以根据某些标准提取信息。 powershell 脚本（优化到边缘）需要 4 小时才能返回完全处理的 csv 文件。我们编写了另一个 Python 脚本，耗时不到 1 小时......

尽管我很喜欢 powershell，但我心碎了。为了您的娱乐，试试这个： 电源外壳：

$num = 0
$string = "Mary had a little lamb"

while($num -lt 1000000){
    $string = $string.ToUpper()
    $string = $string.ToLower()
    Write-Host $string
    $num++
}

Python：

num = 0
string = "Mary had a little lamb"

while num < 1000000:
    string = string.lower()
    string = string.upper()
    print(string)
    num+=1

并触发这两个作业。您甚至可以封装在 Measure-command{} 中以使其保持“科学性”。

另外，link，疯狂阅读..

Answer 2

您可能想尝试以下命令：

gci C:\temp\csv\*.csv | % { (gc $_) -replace $SearchStr, $ReplaceStr | out-file $_}

另外，有些字符串可能需要转义字符，因此您应该使用 [regex]Escape 来生成内置转义字符的字符串。代码如下所示：

gci C:\temp\csv\*.csv | % { (gc $_) -replace $([regex]::Escape($SearchStr)) $([regex]::Escape($ReplaceStr)) | out-file $_}

Answer 3

试试这个 PowerShell 脚本。它应该表现得更好。由于文件是在缓冲流中读取的，因此 RAM 的使用也大大减少。

$reader = [IO.File]::OpenText("C:\input.csv")
$writer = New-Object System.IO.StreamWriter("C:\output.csv")

while ($reader.Peek() -ge 0) {
    $line = $reader.ReadLine()
    $line2 = $line -replace $SearchStr, $ReplaceStr
    $writer.writeline($line2)
}

$reader.Close()
$writer.Close()

这会处理一个文件，但您可以使用它测试性能，如果更可接受，请将其添加到循环中。

或者，您可以使用 Get-Content 将多行读入内存，执行替换，然后使用 PowerShell 管道写入更新的块。

Get-Content "C:\input.csv" -ReadCount 512 | % {
    $_ -replace $SearchStr, $ReplaceStr
} | Set-Content "C:\output.csv"

为了提高性能，您还可以像这样编译正则表达式（-replace 使用正则表达式）：

$re = New-Object Regex $SearchStr, 'Compiled'
$re.Replace( $_ , $ReplaceStr )

Answer 4

我不了解 Python，但看起来您正在 Python 脚本中进行文字字符串替换。在 Powershell 中，-replace 运算符是正则表达式搜索/替换。我会将 Powershell 转换为在字符串类上使用 replace 方法（或者回答原始问题，我认为您的 Powershell 效率低下）。

ForEach ($file in Get-ChildItem C:\temp\csv\*.csv) 
{
    $content = Get-Content -path $file
    # look close, not much changes
    $content | foreach {$_.Replace($SearchStr, $ReplaceStr)} | Set-Content $file
}

编辑经过进一步审查，我认为我看到了版本中的另一个（也许更重要的）差异。 Python 版本似乎正在将整个文件读入 single 字符串。另一方面，Powershell 版本正在读取 字符串数组。

Get-Content 的帮助中提到了一个可能影响性能的ReadCount 参数。将此计数设置为 -1 似乎会将整个文件读入单个数组。这意味着您通过管道传递一个数组而不是单个字符串，但是对代码进行简单的更改就可以解决这个问题：

# $content is now an array
$content | % { $_ } | % {$_.Replace($SearchStr, $ReplaceStr)} | Set-Content $file

如果您想像 Python 版本那样将整个文件读入单个字符串，只需直接调用 .NET 方法即可：

# now you have to make sure to use a FULL RESOLVED PATH
$content = [System.IO.File]::ReadAllText($file.FullName) 
$content.Replace($SearchStr, $ReplaceStr) | Set-Content $file

这并不完全像“Powershell-y”，因为您直接使用 .NET API 而不是类似的 cmdlet，但它们会在您需要时将功能放在那里。

Answer 5

我经常看到这个：

$content | foreach {$_ -replace $SearchStr, $ReplaceStr} 

-replace 运算符将一次处理整个数组：

$content -replace $SearchStr, $ReplaceStr

并且比一次迭代一个元素要快得多。我怀疑这样做可能会让你更接近苹果对苹果的比较。