多线程、数据读取器和批量插入...这个应用程序可以是多线程的吗？

Question

是否可以在我的代码中提取代码部分并让它在多个线程中运行？

应用程序通过网络将 FoxPro 数据库中的数据复制到我们的 SQL 服务器（文件非常大，因此需要以增量方式进行批量复制...

它有效，但我想提高一点速度。

1) 通过让我标记的部分在多个线程中运行，或者作为替代方案，

2) 不循环遍历数据行中的每一列，

我选择了第二个选项...（下面更新了代码）

代码

private void BulkCopy(OleDbDataReader reader, string tableName, Table table)
    {
        if (Convert.ToBoolean(ConfigurationManager.AppSettings["CopyData"]))
        {
            Console.WriteLine(tableName + " BulkCopy Started.");
            try
            {
                DataTable tbl = new DataTable();
                foreach (Column col in table.Columns)
                {
                    tbl.Columns.Add(col.Name, ConvertDataTypeToType(col.DataType));
                }

                int batch = 1;
                int counter = 0;

                DataRow tblRow = tbl.NewRow();

                while (reader.Read())
                {
                    counter++;                  
 ////This section changed
                        object[] obj = tblRow.ItemArray;
                        reader.GetValues(obj);
                        tblRow.ItemArray = obj;
////**********
                    tbl.LoadDataRow(tblRow.ItemArray, true);

                    if (counter == BulkInsertIncrement)
                    {
                        Console.WriteLine(tableName + " :: Batch >> " + batch);
                        counter = PerformInsert(tableName, tbl, batch);
                        batch++;
                    }
                }

                if (counter > 0)
                {
                    Console.WriteLine(tableName + " :: Batch >> " + batch);
                    PerformInsert(tableName, tbl, counter);
                }

                tbl = null;
                Console.WriteLine("BulkCopy Success!");
            }
            catch (Exception)
            {
                Console.WriteLine("BulkCopy Fail!");
            }
            finally
            {
                reader.Close();
                reader.Dispose();
            }
            Console.WriteLine(tableName + " BulkCopy Ended.");
        }
    }

更新 我选择了第二个选项

我不知道在 while(reader.Read()) 循环中我可以执行以下操作。我没有帮助大大提高应用性能

while (reader.Read())
{
  object[] obj = tblRow.ItemArray;
  reader.GetValues(obj);
  tblRow.ItemArray = obj;
  tbl.LoadDataRow(tblRow.ItemArray, true);
}

Answer 1

如果您使用的是 .NET 4，您可以尝试使用 TPL ，并将 foreach 循环转换为类似

Parallel.ForEach(table.Columns, col => {/*rest of function here */}

Answer 2

如果您消除了初学者的错误，则无需多线程。到处都是大量的慢代码。

tblRow[col.Name] = reader[col.Name];

慢。永远不要使用名称 - 在循环之外获取索引，然后使用索引。此行有 2 个 (!) 字典查找每行，比行处理花费更多的时间。

DataTables / DataSet 开始时非常慢（糟糕的技术选择），但这样的代码真的很慢。使用分析器查看其他不良元素。

Answer 3

我认为您的用例不会从每个用例的并行中显着受益。此外，您的代码中使用的 OleDbReader 的原因也很难实现。

但是您可以做的是在一个新线程上安排插入，您的循环不会在 SQL Server 需要插入您的数据时阻塞。

您可以为此使用Task.Factory.StartNew() method。但这会使错误处理变得更加复杂，因为当插入失败时，您可能已经处理了更多数据，或者在最坏的情况下，已经有另一个线程在等待数据库的新插入。

Answer 4

这可能不是您想要的答案，但是您是否尝试过首先在发布模式下运行控制台应用程序，只使用一条 try 语句，并在阅读器上使用索引？由于 SQL Server 将成为主要瓶颈，因此将其设为多线程可能不会显着提高速度。

当然，如果您不太关心数据完整性（例如您的 ID 不是连续的），您可以更改 table locking 插入类型并启动 3-4 个线程以从桌子。