C# 使用 Parallel For 处理批量数据库查询

Question

我有一个非并行数据查询存储过程调用。这是查询。

SELECT TOP(1000) a.[tableA_id] AS [id],a.[tableA_name],a.[tableA_modified]
FROM tableA a
WHERE a.[tableA_modified] = 1
    AND a.tableA_id NOT IN (
        SELECT tableA_id_foreign
        FROM tableB_id b
    )

这是c#代码的样子。

for
{
  UpdateBatch(SpCall());
}

这个 SP 调用发生在批量。批处理成功完成后，该批处理的“tableA_modified”列设置为 0。所以在下一次调用中，会返回新批次。

但现在我想在 parallel for 中执行此 SP 调用。 现在我想这样实现它。

parallelfor
{
 UpdateBatch(SpCall());
}

但我不能使用“TOP”，因为 SP 调用并行发生（因此 tableA_modified 未设置为前 1000 行中的 0）。而且我也不能获取整个结果（不将第一组限制为 1000），因为这会产生超时。有没有办法解决这个问题。

Answer 1

如果您可以向 tableA 添加一列（例如 UpdateBatchId），则可以更新过程以接收将在前 1000 行上设置的 @UpdateBatchId 参数（使用相同的 where 条件和附加条件以包含一个空的 UpdateBatchId）。然后它将返回使用该特定 UpdateBatchId 设置的记录：

UPDATE TOP(1000) SET a.UpdateBatchId = @UpdateBatchId
OUTPUT inserted.[tableA_id] AS [id], inserted.[tableA_name], inserted.[tableA_modified]
FROM tableA a
WHERE a.[tableA_modified] = 1
AND a.tableA_id NOT IN (
    SELECT tableA_id_foreign
    FROM tableB_id b
)
AND a.UniqueBatchId is null 

然后在 SpCall 中，您将传入一个新的唯一更新批次 ID。这可能来自代码（例如 guid 或其他东西）：

parallelfor
{
 UpdateBatch(SpCall(GetNewUniqueUpdateBatchId()));
}

UpdateBatchId 也可以来自另一个表的标识列（例如，包含 UpdateBatch 数据的表）。如果您使用一个表和一个标识列，那么查询也可以处理该部分（将一行插入到 UpdateBatch 表中并使用其中的标识列作为 UpdateBatchId 参数到更新），那么 SpCall 就不需要来了更新并传递 UpdateBatchId。

如果您无法向表中添加列，那么您可以对具有两列 tableA_id 和 UpdateBatchId 的新表执行类似操作。