我正在从数据库中加载大约 400 万条记录并一次处理一行。为此，我正在遍历数据集的每个数据行，这会导致效率问题。
我怎样才能加快速度？我尝试使用 Parallel.Foreach 循环。但是，由于我正在处理不是线程安全的数据行，因此在我写入数据行的位置周围实施锁定块会降低效率。逻辑大约有 3k 行长。所以每一行都运行了 3k 行。
有什么方法可以提高效率吗？我正在考虑使用 DataRows 列表而不是使用 DataRows 本身。如果我做出这样的改变，我是否能够使用 Parallel.Foreach 循环并期待更高的效率？
或者我应该为报告创建一个实体类并创建该实体类的列表？哪个会更快？ System.DataRow 列表还是实体类列表？
我明白这是一个设计问题，但我对此无能为力。我会很感激任何帮助。谢谢。
【问题讨论】：
标签： c# winforms datatable dataset datarow
我建议使用datareader 一次处理一行，而不是将 400 万行加载到数据表中。这应该会大大加快加载过程。
为了加快处理速度，您可以在 C# 3000 行代码中编写一个异步方法，为每一行调用它。使用 Task.WhenAll 并行运行它们。你可以向上System.Net.ServicePointManager.DefaultConnectionLimit 最大化并行度。
这是它的样子
public async Task LoadData(SqlConnection connection)
{
using (connection)
{
SqlCommand command = new SqlCommand(
"SELECT colOne, colTwo, colThree FROM SqlTable;",
connection);
connection.Open();
SqlDataReader reader = command.ExecuteReader();
var tasks = new List<Task>();
if (reader.HasRows)
{
while (reader.Read())
{
tasks.Add(ProcessData(reader.GetInt32(0), reader.GetInt32(1), reader.GetInt32(2)));
}
await Task.WhenAll(tasks);
}
else
{
Console.WriteLine("No rows found.");
}
reader.Close();
}
}
public async Task ProcessData(int one, int two, int three)
{
// lots of processing
// open a new connection to database to update row and close it.
}
希望对您有所帮助。
【讨论】：
DataTables“对于多线程读取操作是安全的。您必须同步任何写入操作。”
https://docs.microsoft.com/en-us/dotnet/api/system.data.datatable?view=netcore-3.1
但如果您可以避免将 4M 行加载到 DataTable 中，那就更好了。如果您可以得到按数据库排序的结果，那么您可以在最初加载数据时高效地进行分组。
【讨论】：