Excel VBA 按用户 ID 和类别汇总大型数据集

Question

我正在尝试找到一种方法来汇总大型数据集（15,000 行/50 列。50 列是 ID、类别（5 个唯一类别）和 4 年的每月总数。

每个 ID 可以多次具有相同的类别（因为每月总计来自 3 个不同的数据源。

我最终需要的是每个 id 最多可以有 5 行。有些会有 2 或 3 或 4 个。不是每个 ID 都会有 5 个。

我正在考虑为每个类别的每个 id 找到开始行和结束行。然后将 50 列中的每一列 1 与 1 相加，将总数写在起始行并删除每个类别的剩余行。

重复下一个 ID/类别组合。

以下是我想要达到的以下示例。我想我可以做一个数据透视表，然后通读数据透视表（在写入数据之前），但我不确定这会快得多。我对在 Excel 数据集上使用 SQL 非常陌生，并且只根据特定标准进行了选择。我曾尝试使用 SQL 并汇总数据，但运气不佳（因为我不知道自己在做什么）。

任何建议将不胜感激。提前感谢您提供的任何帮助.....

Answer 1

您可以使用 Windows Excel 2010+ 和 Office 365 中提供的 Power Query 来完成此操作

使用 Power Query

• 选择数据表中的某个单元格
• Data => Get&Transform => from Table/Range
• 当 PQ 编辑器打开时：Home => Advanced Editor
• 记下第 2 行中的表 Name
• 粘贴下面的 M 代码代替您看到的内容
• 将第 2 行中的表名称更改回最初生成的名称。
• 阅读 cmets 并探索 Applied Steps 以了解算法

M 码

let
    Source = Excel.CurrentWorkbook(){[Name="Table35"]}[Content],

//Set Data Types
//First two columns are Text and others set to Currency
    colTypes = {{"ID", Text.Type},{"Category", Text.Type}} & 
        List.Transform(List.RemoveFirstN(Table.ColumnNames(Source),2), each {_, Currency.Type}),
    #"Changed Type" = Table.TransformColumnTypes(Source,colTypes),

//Unpivot the "date" columns to get them into a single column    
    #"Unpivoted Other Columns" = Table.UnpivotOtherColumns(#"Changed Type", {"ID", "Category"}, "Attribute", "Value"),

//Group by ID, Category and Attribute(=>Date)
//If there is more than one entry for a subgroup, SUM the values
    #"Grouped Rows" = Table.Group(#"Unpivoted Other Columns", {"ID", "Category", "Attribute"}, {
        {"Sum", each List.Sum([Value]), Currency.Type}}),

//Pivot on Dates (Attribute column) with no aggregation
    #"Pivoted Column" = Table.Pivot(#"Grouped Rows", List.Distinct(#"Grouped Rows"[Attribute]), "Attribute", "Sum")
in
    #"Pivoted Column"

Answer 2

在对分组列进行重复数据删除后，只需使用SUMIFS：

1. 复制分组列ID和Category的所有内容，并粘贴到所需区域（即新工作表）。

2. 使用功能区选项删除两个分组列的重复项：数据 > 删除重复项。

3. 在指向原始工作表的去重列表旁边添加SUMIFS 公式。要在所有列中传播，请将公式向下拖动到所有 15,000 行的第一个数字列，然后再拖动到所有 50 列。请务必使用$ 锁定条件范围：

   =SUMIFS(OriginalSheet!C2:C15000, OriginalSheet!$A$2:$A$15000, $A2, OriginalSheet!$B$2:$B$15000, $B2)
   =SUMIFS(OriginalSheet!D2:D15000, OriginalSheet!$A$2:$A$15000, $A2, OriginalSheet!$B$2:$B$15000, $B2)
   =SUMIFS(OriginalSheet!E2:E15000, OriginalSheet!$A$2:$A$15000, $A2, OriginalSheet!$B$2:$B$15000, $B2)
   ...
   

---

或者，对于另一种非 VBA 解决方案，请考虑打开任何 MS Access 数据库并使用聚合查询从查询​​ SQL 窗口直接查询工作簿。

请注意方括号 ([...])，因为您的特殊 Excel 日期列以数字开头并包含特殊字符。您可能需要 Excel 和记事本来构建包含所有 50 列的以下语句

SELECT [ID]
      , [Category]
      , SUM([01/01/2018]) AS SumOf01012018
      , SUM([02/01/2018]) AS SumOf02012018
      , SUM([01/01/2019]) AS SumOf01012019
      ...

FROM [Excel 12.0 Xml;HDR=Yes;Database=C:\Path\To\My\Excel\File.xlsx].[OriginalSheet$A1:AX15000]
GROUP BY [ID]
       , [Category]