【问题标题】:Powershell 5.1: How to iterate over files in parallelPowershell 5.1:如何并行迭代文件
【发布时间】:2020-04-21 22:20:06
【问题描述】:

我需要根据内容复制文件。所以我得到所有文件,阅读内容并询问正则表达式是否有效。之后,我想将文件复制到某个目录。 我的问题是,有很多源文件,所以我需要并行执行。

我无法使用 PowerShell ForEach-Object 并行功能,因为我们使用的是 Powershell 版本

$folder = "C:\InputFiles"
workflow CopyFiles
{
    foreach -parallel ($file in gci $folder *.* -rec | where { ! $_.PSIsContainer })
    {
        //Get content and compare against a regex
        //Copy if regex matches
    }
}
CopyFiles

任何想法如何使用 Powershell 以并行方式运行它?

【问题讨论】:

  • 所有文件匹配的正则表达式是否相同?
  • 有两个正则表达式,第一个或第二个必须匹配,然后需要复制文件。
  • 如果作业和工作流对您来说仍然很慢,您可能希望从解释器语言 (PowerShell) 切换到 C/C++ 中更底层的实现。除此之外,您是否调查过,是什么让您放慢了速度?它可能是您获取内容并进行比较的部分。是否有必要阅读整个文件?以及如何阅读内容?如果您想要最高速度,Get-Content 将是一个糟糕的选择。
  • 感谢您的反馈。是的,在 c# 中它大约是 5 行代码,在我的情况下执行时间约为 30 秒。我还没有调查是什么让它变慢,但实际上我正在使用 Get-Content。是的,我需要阅读整个文件,但如果正则表达式匹配到最后一行,也可以逐行停止。你有这方面的例子吗?

标签: powershell


【解决方案1】:

另一种选择是使用作业。您必须定义一个接受路径和正则表达式作为参数的 ScriptBlock,然后在后台并行运行它。阅读有关 Start-Job、Receive-Job、Get-Job、Remove-Job cmdlet 的信息。 但我不认为它真的会有所帮助:

  • 我预计它不会比工作流快很多
  • 您必须自己限制和控制作业的执行,从而增加脚本的复杂性
  • 运行作业会产生大量开销
  • 文件系统很可能是此任务的瓶颈,因此任何并行访问文件的方法都无济于事

【讨论】:

  • jobs也是一样,就是慢。在 c# 中,这需要大约 30 秒,需要 5 行代码。工作/工作流程 > 30 分钟。
  • 您也可以使用线程作业,这样会更快,但在 powershell 5 中,您必须从 powershell 库下载它,但 powershell 6 有。
  • 无法使用图库中的 powershell 模块,因为此脚本在多台 PC 上运行,我们无法确保它们已安装此模块。因此我们仅限于 powershell
【解决方案2】:

您能否使用您的配置运行以下脚本,看看使用此方法需要多长时间?我需要 100 毫秒才能在其中找到大约 2000 次出现的文本 PowerShell。

$starttime = Get-Date;
$RegEx = 'Powershell'
$FilesFound = Get-ChildItem -Path "$PSHOME\en-US\*.txt" | Select-String -Pattern $RegEx
Write-Host "Total occurence found: $($FilesFound.Count)"
$endtime = Get-Date;

Write-Host "Time of execution:" ($endtime - $starttime).Milliseconds "Mili Seconds";

【讨论】:

  • 我需要阅读文件的内容,并将其与正则表达式进行比较。这应该如何与 robocopy 一起使用?在文章中,正则表达式仅用于匹配文件/文件夹名称。
  • 尝试按照您的要求执行此操作,我可以对其进行修改以使其具有多线程进行复制。
  • 用 -Recurse 参数调整后(目标文件在子文件夹中)花了 3 多分钟。这也是减慢速度的方式。
猜你喜欢
  • 1970-01-01
  • 2018-10-18
  • 2021-10-14
  • 2021-10-01
  • 1970-01-01
  • 1970-01-01
  • 2020-04-18
  • 2022-10-21
  • 1970-01-01
相关资源
最近更新 更多