如何比较两个数据表并使用多个线程更新第一个数据表？

Question

表1中有150,000条记录，我必须将表1中的每条记录与表2中的相应记录一一比较，如果找到匹配更新表1中的相同记录，如果找不到匹配需要更新Notes 表 1 中的列值未找到匹配记录。

为此，我分别从dt 和dt1 的两个表中获取记录。

下面是我做的代码

DataTable dt = getRecordsfromTable1();
DataTable dt1 = getRecordsfromTable2();
foreach(DataRow dr in dt.Rows)
{
     foreach(DataRow dr1 in dt1.Rows)
     {
          if(dr["Id"].ToString() == dr1["Id"].ToString())
          {
               //Calling update method in Data Access Layer to Update record in First table
               Update(dr["Id"].ToString());
          }
          else
         {
             //Id not found
         }
     }
}

但这工作非常缓慢，因为我正在逐一比较 150,000 条记录。如何在这里使用多线程概念来加快处理速度？

Answer 1

在这里尝试的第一件事是在Id 上建立索引，即

Dictionary<string, DataRow> lookup = new();
// index dt1
foreach(DataRow dr1 in dt1.Rows)
{
    var id = dr1["Id"].ToString();
    lookup.Add(id, dr1);
}
// now enumerate dt
foreach(DataRow dr in dt.Rows)
{
    var id = dr["Id"].ToString();
    if (lookup.TryGetValue(id, out var dr1))
    {
        //Calling update method in Data Access Layer to Update record in First table
        Update(id);
    }
}

注意：如果Update 实际上不需要dr1，您也可以将Dictionary<string, DataRow> 替换为已知ID 的HashSet<string>。

至于并行化：这在很大程度上取决于 Update 所做的事情；并行化可能有用也可能没用。很高兴讨论更多，但是：需要看到它。如果它可以简单地并行化，那么可能简单地使用就足够了：

// now enumerate dt concurrently
Parallel.ForEach(dt.AsEnumerable(), dr =>
{
    var id = dr["Id"].ToString();
    if (lookup.TryGetValue(id, out var dr1))
    {
        //Calling update method in Data Access Layer to Update record in First table
        Update(id);
    }
});

但是，与数据库相关的代码必须是可并行化的。