PowerShell：从多个 CSV 文件中查找唯一值

Question

假设我有几个 CSV 文件，我需要检查特定列并查找存在于一个文件中但不存在于其他任何文件中的值。由于我想使用Compare-Object 并可能保留所有列，而不仅仅是包含我正在检查的值的列，所以我在想出最好的方法时遇到了一些麻烦。

所以我确实有几个 CSV 文件，它们都有一个 Service Code 列，我正在尝试为每个 Service Code 创建一个仅出现在一个文件中的列表。所以我会有“仅在 CSV1 中的服务代码”、“仅在 CSV2 中的服务代码”等。

基于一些测试和semi-related question，我想出了一个可行的解决方案，但是对于所有的嵌套和For 循环，我想知道是否有更优雅的方法。

这是我所拥有的：

$files = Get-ChildItem -LiteralPath "C:\temp\ItemCompare" -Include "*.csv"
$HashList = [System.Collections.Generic.List[System.Collections.Generic.HashSet[String]]]::New()
For ($i = 0; $i -lt $files.Count; $i++){
    $TempHashSet = [System.Collections.Generic.HashSet[String]]::New([String[]](Import-Csv $files[$i])."Service Code")
    $HashList.Add($TempHashSet)
}

$FinalHashList = [System.Collections.Generic.List[System.Collections.Generic.HashSet[String]]]::New()
For ($i = 0; $i -lt $HashList.Count; $i++){
    $UniqueHS = [System.Collections.Generic.HashSet[String]]::New($HashList[$i])
    For ($j = 0; $j -lt $HashList.Count; $j++){
        #Skip the check when the HashSet would be compared to itself
        If ($j -eq $i){Continue}
        $UniqueHS.ExceptWith($HashList[$j])
    }
    $FinalHashList.Add($UniqueHS)
}

使用这么多不同的 .NET 引用对我来说似乎有点混乱，我知道我可以用一个标签说using namespace System.Collections.Generic 让它更干净，但我想知道是否有办法让它工作使用Compare-Object 这是我的第一次尝试，甚至只是过滤每个文件的更简单/更有效的方法。

Answer 1

我相信我找到了一个基于Group-Object 的“优雅”解决方案，只使用一个管道：

# Import all CSV files. 
Get-ChildItem $PSScriptRoot\csv\*.csv -File -PipelineVariable file | Import-Csv | 

    # Add new column "FileName" to distinguish the files.
    Select-Object *, @{ label = 'FileName'; expression = { $file.Name } } |

    # Group by ServiceCode to get a list of files per distinct value. 
    Group-Object ServiceCode |

    # Filter by ServiceCode values that exist only in a single file.
    # Sort-Object -Unique takes care of possible duplicates within a single file.
    Where-Object { ( $_.Group.FileName | Sort-Object -Unique ).Count -eq 1 } |

    # Expand the groups so we get the original object structure back.
    ForEach-Object Group |

    # Format-Table requires sorting by FileName, for -GroupBy.
    Sort-Object FileName |

    # Finally pretty-print the result.
    Format-Table -Property ServiceCode, Foo -GroupBy FileName 

测试输入

a.csv：

ServiceCode,Foo
1,fop
2,fip
3,fap

b.csv：

ServiceCode,Foo
6,bar
6,baz
3,bam
2,bir
4,biz

c.csv：

ServiceCode,Foo
2,bla
5,blu
1,bli

输出

   FileName: b.csv    

ServiceCode Foo       
----------- ---       
4           biz       
6           bar       
6           baz       

   FileName: c.csv    

ServiceCode Foo       
----------- ---       
5           blu  

在我看来是正确的。 1、2 和 3 的值在多个文件之间重复，因此它们被排除在外。 4、5 和 6 仅存在于单个文件中，而 6 是仅在单个文件中的重复值。

理解代码

通过查看Group-Object 行产生的管道的中间输出，也许更容易理解这段代码的工作原理：

Count Name                      Group
----- ----                      -----
    2 1                         {@{ServiceCode=1; Foo=fop; FileName=a.csv}, @{ServiceCode=1; Foo=bli; FileName=c.csv}}
    3 2                         {@{ServiceCode=2; Foo=fip; FileName=a.csv}, @{ServiceCode=2; Foo=bir; FileName=b.csv}, @{ServiceCode=2; Foo=bla; FileName=c.csv}}
    2 3                         {@{ServiceCode=3; Foo=fap; FileName=a.csv}, @{ServiceCode=3; Foo=bam; FileName=b.csv}}
    1 4                         {@{ServiceCode=4; Foo=biz; FileName=b.csv}}
    1 5                         {@{ServiceCode=5; Foo=blu; FileName=c.csv}}
    2 6                         {@{ServiceCode=6; Foo=bar; FileName=b.csv}, @{ServiceCode=6; Foo=baz; FileName=b.csv}}

这里Name 包含唯一的ServiceCode 值，而Group 将数据“链接”到文件。

从这里应该已经清楚了如何查找仅存在于单个文件中的值。如果不允许在单个文件中重复 ServiceCode 值，我们甚至可以将过滤器简化为 Where-Object Count -eq 1。由于单个文件中可能存在重复文件，因此我们需要 Sort-Object -Unique 将组内的多个相同文件名计为一个。

Answer 2

您对输出的期望并不完全清楚。
如果这只是 ServiceCodes that intersect 那么这实际上是重复的：

• Comparing two arrays & get the values which are not common
• Union and Intersection in PowerShell?

但如果您确实想要相关的对象和文件，您可能会使用这种方法：

$HashTable = @{}
ForEach ($File in Get-ChildItem .\*.csv) {
    ForEach ($Object in (Import-Csv $File)) {
        $HashTable[$Object.ServiceCode] = $Object |Select-Object *,
            @{ n='File'; e={ $File.Name } },
            @{ n='Count'; e={ $HashTable[$Object.ServiceCode].Count + 1 } }
    }
}
$HashTable.Values |Where-Object Count -eq 1

Answer 3

这是我对这个有趣练习的看法，我使用与您类似的方法来处理HashSet，但添加[System.StringComparer]::OrdinalIgnoreCase 以利用.Contains(..) 方法：

using namespace System.Collections.Generic

# Generate Random CSVs:
$charset = 'abABcdCD0123xXyYzZ'
$ran = [random]::new()
$csvs = @{}
foreach($i in 1..50) # Create 50 CSVs for testing
{
    $csvs["csv$i"] = foreach($z in 1..50) # With 50 Rows
    {
        $index = (0..2).ForEach({ $ran.Next($charset.Length) })
        
        [pscustomobject]@{
            ServiceCode = [string]::new($charset[$index])
            Data = $ran.Next()
        }
    }
}

# Get Unique 'ServiceCode' per CSV:
$result = @{}
foreach($key in $csvs.Keys)
{
    # Get all unique `ServiceCode` from the other CSVs
    $tempHash = [HashSet[string]]::new(
        [string[]]($csvs[$csvs.Keys -ne $key].ServiceCode),
        [System.StringComparer]::OrdinalIgnoreCase
    )
    # Filter the unique `ServiceCode`
    $result[$key] = foreach($line in $csvs[$key])
    {
        if(-not $tempHash.Contains($line.ServiceCode))
        {
            $line
        }
    }
}

# Test if the code worked,
# If something is returned from here means it didn't work
foreach($key in $result.Keys)
{
    $tmp = $result[$result.Keys -ne $key].ServiceCode
    foreach($val in $result[$key])
    {
        if($val.ServiceCode -in $tmp)
        {
            $val
        }
    }
}

Answer 4

我能够获得如下独特的物品

# Get all items of CSVs in a single variable with adding the file name at the last column
$CSVs = Get-ChildItem "C:\temp\ItemCompare\*.csv" | ForEach-Object {
    $CSV = Import-CSV -Path $_.FullName
    $FileName = $_.Name
    $CSV | Select-Object *,@{N='Filename';E={$FileName}}
}
Foreach($line in $CSVs){
$ServiceCode = $line.ServiceCode
$file = $line.Filename
if (!($CSVs | where {$_.ServiceCode -eq $ServiceCode -and $_.filename -ne $file})){
$line
}
}