仅当主键大于最后一个主键时如何填充 DataTable 行？

Question

问题：在将源 DataTable 合并到实际 DataTable (ActualDT.Merge(SourceDT)) 时，仅当主键大于现有主键时才插入行。

我的问题详情如下：

在将 JSON 反序列化为源数据表后，我通过来自外部服务器的 API 使用 Int64 主键填充实际数据表。然后我将数据表中的行写入我的数据库并清除数据表中的所有行，除了最大的主键。后来我从 API 请求新数据，并且响应通常包含我已经写入数据库并从我的 DataTable 中清除的相同行。

如果我不清理 DataTable 行，性能会下降，而且是内存猪。所以，我在清理后留下最大主键的一行。

我不想在合并之前比较 Source DataTable 中的每个 PrimaryKey，比较可能需要很多时间。

我应该怎么做才能防止合并我已经写入数据库并从实际数据表中删除的行？也许我甚至可以在反序列化过程中排除它们（我使用 NewtonSoft JSON.net）？或者，如果它们的主键

感谢您的回答！

更新：合并代码

public class MyData
{
    DataTable BlackPairs = new DataTable();
    DataTable WhiteTable = new DataTable();

    public string _Json {

        set
        {
            DataSet TempDS = JsonConvert.DeserializeObject<DataSet>(value);
            try
            {
                foreach (DataTable table in TempDS.Tables)
                {
                    BlackPairs = table.Copy();
                    WhiteTable.Merge(BlackPairs);
                }
            }catch{}
        }
    }

    public MyData()
    {   //columns initialization
        WhiteTable.Columns.AddRange(new DataColumn[]{columns);
        WhiteTable.PrimaryKey = new DataColumn[]{tid};
    }

Answer 1

根据我们通过 cmets 讨论的内容，我创建了自定义 Merge 函数。此功能仅在主列为 typeof(int) 时可用，但可以轻松改进以获取所有类型或将其更改为您需要的类型（字符串、整数、布尔...）

public Test()
{
    InitializeComponent();
    DataTable smallerDatatable = new DataTable();
    smallerDatatable.Columns.Add("Col1", typeof(int));
    smallerDatatable.Columns.Add("Col2", typeof(string));

    DataTable biggerDatatable = new DataTable();
    biggerDatatable.Columns.Add("Col1", typeof(int));
    biggerDatatable.Columns.Add("Col2", typeof(string));

    smallerDatatable.Rows.Add(1, "Row1");
    smallerDatatable.Rows.Add(2, "Row2");
    smallerDatatable.Rows.Add(3, "Row3");
    biggerDatatable.Rows.Add(1, "Row1");
    biggerDatatable.Rows.Add(2, "Row2");
    biggerDatatable.Rows.Add(3, "Row3");
    biggerDatatable.Rows.Add(4, "Row4");
    biggerDatatable.Rows.Add(5, "Row5");

    DataTable mergedTable = MergeOnUniqueColumn(smallerDatatable, biggerDatatable, "Col1");
    dataGridView1.DataSource = mergedTable;
}

private DataTable MergeOnUniqueColumn(DataTable smallTable, DataTable bigTable, string uniqueColumn)
{
    DataTable m = smallTable;
    for(int i = 0; i < bigTable.Rows.Count; i++)
    {
        if(!(smallTable.AsEnumerable().Any(row => bigTable.Rows[i][uniqueColumn].Equals(row.Field<object>(uniqueColumn)))))
        {
            smallTable.Rows.Add(bigTable.Rows[i].ItemArray);
        }
    }
    return m;
}

上面的函数将从bigTable 中填充smallTable 中每个缺失的唯一值。

如果您只想在最后一个 smallTable 行之后使用来自 bigTable 的值填充 smallTable，请使用此函数。

private DataTable MergeOnUniqueColumnAfterLastID(DataTable smallTable, DataTable bigTable, string uniqueColumn)
{
    DataTable m = smallTable;
    int maxUnique = Convert.ToInt32(m.Compute("max([" + uniqueColumn + "])", string.Empty));
    for (int i = 0; i < bigTable.Rows.Count; i++)
    {
        if (!(smallTable.AsEnumerable().Any(row => (int)bigTable.Rows[i][uniqueColumn] <= maxUnique)))
        {
            smallTable.Rows.Add(bigTable.Rows[i].ItemArray);
        }
    }
    return m;
}