使用 powershell 拆分 CSV

Question

我有大型 CSV 文件（每个 50-500 MB）。在这些上运行复杂的 power shell 命令需要很长时间和/或遇到内存问题。

处理数据需要按常用字段分组，例如在 ColumnA 中。因此，假设数据已经按该列排序，如果我随机拆分这些文件（即每 x 千行），那么匹配的条目仍然可能最终出现在不同的部分。 A 中有数千个不同的组，因此将每个组拆分为一个文件会创建多个文件。

如何将其拆分为 10,000 行左右的文件而不丢失组？例如。第 1-13 行将是 A 列中的 A1，第 14-17 行将是 A2 等，第 9997-10012 行将是 A784。在这种情况下，我希望第一个文件包含第 1-10012 行，下一个文件从第 10013 行开始。

显然我想保留整行（而不仅仅是 A 列），所以如果我将所有结果文件粘贴在一起，这将与原始文件相同。

Answer 1

未测试。这假设 ColumnA 是第一列，它是常见的逗号分隔数据。您需要调整创建正则表达式的行以适合您的数据。

 $count = 0

 $header = get-content file.csv -TotalCount 1

 get-content file.csv -ReadCount 1000 |
  foreach {
   #add tail entries from last batch to beginning of this batch
   $newbatch = $tail + $_ 

   #create regex to match last entry in this batch
   $regex = '^' + [regex]::Escape(($newbatch[-1].split(',')[0])) 

   #Extract everything that doesn't match the last entry to new file

     #Add header if this is not the first file
     if ($count)
       {
         $header |
           set-content "c:\somedir\filepart_$count"
        }

     $newbatch -notmatch $regex | 
      add-content "c:\somedir\filepart_$count"  

   #Extact tail entries to add to next batch
   $tail = @($newbatch -match $regex)

   #Increment file counter
   $count++ 

}

Answer 2

这是我的尝试，它变得混乱 :-P 它会在拆分文件时将整个文件加载到内存中，但这是纯文本。它应该比导入对象占用更少的内存，但仍然与文件大小差不多。

$filepath = "C:\Users\graimer\Desktop\file.csv"
$file = Get-Item $filepath
$content = Get-Content $file
$csvheader = $content[0]
$lines = $content.Count
$minlines = 10000
$filepart = 1

$start = 1

while ($start -lt $lines - 1) {
    #Set minimum $end value (last line)
    if ($start + $minlines -le $lines - 1) { $end = $start + $minlines - 1 } else { $end = $lines - 1 }

    #Value to compare. ColA is first column in my file = [0] .  ColB is second column = [1]
    $avalue = $content[$end].split(",")[0]
    #If not last line in script
    if ($end -ne $lines -1) {
        #Increase $end by 1 while ColA is the same
        while ($content[$end].split(",")[0] -eq $avalue) { $end++ }
        #Return to last line with equal ColA value
        $end--
    }
    #Create new csv-part
    $filename = $file.FullName.Replace($file.BaseName, ($file.BaseName + ".part$filepart"))
    @($csvheader, $content[$start..$end]) | Set-Content $filename

    #Fix counters
    $filepart++
    $start = $end + 1
}

文件.csv：

ColA,ColB,ColC
A1,1,10
A1,2,20
A1,3,30
A2,1,10
A2,2,20
A3,1,10
A4,1,10
A4,2,20
A4,3,30
A4,4,40
A4,5,50
A4,6,60
A5,1,10
A6,1,10
A7,1,10

结果（我用$minlines = 5）：

file.part1.csv:

ColA,ColB,ColC
A1,1,10
A1,2,20
A1,3,30
A2,1,10
A2,2,20

file.part2.csv:

ColA,ColB,ColC
A3,1,10
A4,1,10
A4,2,20
A4,3,30
A4,4,40
A4,5,50
A4,6,60

file.part3.csv:

ColA,ColB,ColC
A5,1,10
A6,1,10
A7,1,10

Answer 3

这需要 PowerShell v3（由于 -append on Export-CSV）。

另外，我假设您有列标题并且第一列名为col1。根据需要进行调整。

import-csv MYFILE.csv|foreach-object{$_|export-csv -notypeinfo -noclobber -append ($_.col1 + ".csv")}

这将为第一列中的每个不同值创建一个文件，并将该值作为文件名。