Powershell提取内存消耗

Question

我从事过一个小项目，该项目是从文件服务器中提取一些信息。为了执行该项目，我创建了一个脚本，将所有信息输出到 .csv 文件中。问题是 Powershell 在此过程中耗尽了我所有计算机的 RAM，因为有数百 Gb 的数据需要解析。

下面是我的脚本。

$folder = Get-ChildItem -Recurse 'Complete_Path' | select FullName, @{Name="Owner";Expression={(Get-Acl $_.FullName).Owner}}, CreationTime, LastWriteTime, LastAccessTime, PSIsContainer | sort FullName
$output = @()

$folder | foreach {

$type =

if ($_.PSIsContainer -eq "True") {


    Write-Output "Folder"

        }
else {


    Write-Output "File"

}


$size =

if ($_.PSIsContainer -eq "True") {

   Get-ChildItem -Recurse $_.FullName | measure -Property Length -Sum -ErrorAction SilentlyContinue | select -ExpandProperty Sum


        }
else {


    Get-Item $_.FullName | measure -Property Length -Sum -ErrorAction SilentlyContinue | select -ExpandProperty Sum

}


$hash = @{


FullName = $_.FullName
Owner = $_.Owner
CreationTime = $_.CreationTime
LastWriteTime = $_.LastWriteTime
LastAccessTime = $_.LastAccessTime
Type = $type
'Size in MB' = [math]::Round($($size/1Mb),2)

}

$output += New-Object PSObject -Property $hash
}

$output | select FullName, Owner, CreationTime, LastWriteTime, LastAccessTime, Type, 'Size in MB' | Export-Csv C:\myDOCS.csv -Delimiter ";" -NoTypeInformation -Encoding UTF8

你们知道我怎样才能更快地完成工作并减少内存消耗吗？提取可能需要几天时间。

提前谢谢你。

Answer 1

• 将您的 Powershell 数组 $output=@() 替换为 .Net PSObject 列表 $output = [System.Collections.Generic.List[psobject]]::new() 并使用该对象的 .Add 方法添加您的项目。

  对于小列表，您不会注意到，但使用 Powershell 数组和 += 运算符是一个很大的性能下降。每次执行 += 时，数组都会重新创建一个项目。

• 在初始 Get-ChildItem 语句中包含长度。稍后，您无需一直再次通过 Get-ChildItem 即可测量总和

• 管道在内存上运行良好，但总体上较慢。当性能成为问题时，我倾向于不使用管道。

类似的东西应该已经明显更快了

$folder = Get-ChildItem -Recurse "$($env:USERPROFILE)\Downloads" | select FullName, @{Name = "Owner"; Expression = { (Get-Acl $_.FullName).Owner } }, CreationTime, LastWriteTime, LastAccessTime, PSIsContainer, Length | sort FullName
$output = [System.Collections.Generic.List[psobject]]::new()

foreach ($Item in $folder) {
    if ($Item.PSIsContainer) {
        $Type = 'Folder'
        $size = $folder.Where( { $_.FullName -like $item.FullName }).FullName | measure -Property Length -Sum -ErrorAction SilentlyContinue | select -ExpandProperty Sum
    }
    else {
        $Type = 'File'
        $size = $Item.Length
    }
    $size = [math]::Round($($size / 1Mb), 2)

    $hash = @{
        FullName       = $Item.FullName
        Owner          = $Item.Owner
        CreationTime   = $Item.CreationTime
        LastWriteTime  = $Item.LastWriteTime
        LastAccessTime = $Item.LastAccessTime
        Type           = $Type
        'Size in MB'   = $size
    }
    [void]($output.Add((New-Object PSObject -Property $hash)))
}


$output | select FullName, Owner, CreationTime, LastWriteTime, LastAccessTime, Type, 'Size in MB' | Export-Csv C:\myDOCS.csv -Delimiter ";" -NoTypeInformation -Encoding UTF8

• 您仍然可以改进大小计算，因此首先计算最深的文件夹大小，然后父文件夹可以获取该值并对子文件夹求和，而不是重新计算文件

• 另一个想法是不要立即执行 Get-ACL（我怀疑这个执行速度很慢）并获取您的项目，完成其余的工作，然后并行化 Get-ACL，以便您可以获取值一些并行线程，并将值添加到列表中。

考虑以小批量测试您的代码，并使用 Measure-Command 确定代码中最慢的操作在哪里。

我建议您查看有关该主题的一些更高级的主题。 这是一篇很好的文章，可以帮助您入门：Slow Code: Top 5 ways to make your Powershell scripts run faster

Answer 2

将整个事情放在一个管道中会更好吗？

Get-ChildItem -Recurse |
select FullName, @{Name="Owner";Expression={(Get-Acl $_.FullName).Owner}},
CreationTime, LastWriteTime, LastAccessTime, PSIsContainer | sort FullName |

foreach {

  $type =
  if ($_.PSIsContainer -eq "True") {
      Write-Output "Folder"
  }
  else {
      Write-Output "File"
  }

  $size =
  if ($_.PSIsContainer -eq "True") {
     Get-ChildItem -Recurse $_.FullName | 
       measure -Property Length -Sum -ErrorAction SilentlyContinue |
       select -ExpandProperty Sum
  }
  else {
      Get-Item $_.FullName | 
        measure -Property Length -Sum -ErrorAction SilentlyContinue |
        select -ExpandProperty Sum
  }

  $hash = @{
    FullName = $_.FullName
    Owner = $_.Owner
    CreationTime = $_.CreationTime
    LastWriteTime = $_.LastWriteTime
    LastAccessTime = $_.LastAccessTime
    Type = $type
    'Size in MB' = [math]::Round($($size/1Mb),2)
  }

  New-Object PSObject -Property $hash
} | select FullName, Owner, CreationTime, LastWriteTime, LastAccessTime,
Type, 'Size in MB' | 
Export-Csv myDOCS.csv -Delimiter ";" -NoTypeInformation -Encoding UTF8