如何使用 insert 语句将数百万不同 RDBMS 的数据插入 SQL Server 数据库？

Question

到目前为止，我的 SQL Server 中有两个数据库，每个数据库都包含一个表。

我有 2 个如下数据库：

1) Db1 (MySQL)

2) Db2 (Oracle)

现在我要做的是用来自 MySQL 的 Db1 的数据填充我的 SQL Server db1 数据库表，如下所示：

Insert into Table1 select * from Table1

Select * from Table1(Mysql Db1) - 来自 Mysql 数据库的数据

Insert into Table1(Sql server Db1) - 插入来自 Mysql 的数据 考虑相同架构的数据库

我不想使用 sqlbulk 复制，因为我不想逐块插入数据。考虑到数百万个数据，我想一次性插入所有数据，因为我的操作不仅限于在数据库中插入记录。因此，用户必须等待很长时间，例如首先将数百万个数据逐块插入数据库中，然后再等待我的进一步操作，这也是长时间运行的操作。

所以如果我加快了这个过程，那么考虑到所有记录都在我的 1 个本地 sql 服务器实例中，我可以加快第二次操作。

这可以在 C# 应用程序中实现吗？

更新：我研究了链接服务器，因为 @GorDon Linoff 建议我可以使用链接服务器来实现这种情况，但根据我的研究，我似乎不能通过代码创建链接服务器。

我想在 ado.net 的帮助下做到这一点。

这正是我想要做的：

假设我有 2 个不同的客户端 RDBMS，其中包含 2 个数据库和客户端中的一些表。

所以数据库是这样的：

Sql Server :

Db1

Order
Id      Amount
1       100
2       200
3       300
4       400


Mysql or Oracle :

Db1:

Order
Id      Amount
1       1000
2       2000
3       3000
4       400

现在我想比较源（SQL Server）和目标数据库（MySQL 或 Oracle）的 Amount 列。

我将用于连接这 2 个不同的 RDBMS 数据库表来比较 Amount 列。

在 C# 中，我可以做的是在我的 数据表（内存中） 中逐块获取记录，然后在代码的帮助下比较这些记录，但考虑到数百万条记录，这将花费大量时间.

所以我想做比这更好的事情。

因此我想我在我的本地 SQL 服务器实例中的 2 个数据库中提取这 2 个 RDBMS 记录，然后根据 Id 创建连接这 2 个表的连接查询，然后利用可以比较这数百万的 DBMS 处理能力高效记录。

这样的查询可以有效地比较数百万条记录：

select SqlServer.Id,Mysql.Id,SqlServer.Amount,Mysql.Amount from SqlServerDb.dbo.Order as SqlServer
Left join MysqlDb.dbo.Order as Mysql on SqlServer.Id=Mysql.Id
where SqlServer.Amount != Mysql.Amount

当我的本地服务器实例中有这 2 个不同的 RDBMS 数据时，上述查询有效：SqlServerDb 和 MysqlDb，这将获取以下数量不匹配的记录：

所以我试图将那些记录从源（Sql server Db）获取到其 Amount 列值不匹配的 MySQL。

预期输出：

Id      Amount
1       1000
2       2000
3       3000

那么有什么办法可以实现这个场景呢？

Answer 1

在SELECT 一侧，使用SELECT ... INTO OUTFILE ... 创建一个.csv 文件（制表符分隔）

在INSERT 一侧，使用LOAD DATA INFILE ...（或任何目标机器语法）。

一次完成所有代码可能比分块更容易编码，并且可能（或可能不会）更快地运行。

Answer 2

SqlBulkCopy 可以接受 DataTable 或 System.Data.IDataReader 作为其输入。

使用您的查询读取源数据库，在源 MySQL 或 Oracle DB 上设置 ADO.Net DataReader，并将读取器传递给 SqlBulkCopy 的 WriteToServer() 方法。

这可以无限制地复制几乎任意数量的行。我已经使用数据读取器方法复制了数亿行。

Answer 3

如何在远程数据库中添加更改日期。

那么您可以获取自上次同步以来已更改的所有行并进行比较？

Answer 4

首先不要使用链接服务器。这很诱人，但它比它带来的麻烦更多。像更新和插入一样，会将所有目标数据库获取到源数据库，然后进行插入/更新并将所有数据发布到目标。

据我了解，您正在尝试将更改的数据复制到目标系统以获取某些内容。

我建议在源表上使用时间戳列。当源表时间戳列发生任何变化时，sql server 会更新。

在目标上，获取最大 ID 和最大时间戳。最多两个查询。

在源代码中，source.ID <= target.MaxID && source.timestamp >= target.MaxTimeTamp 为 true 的行是上次同步后更改的行（需要更新）。 source.ID > target.MaxID 为 true 的行是上次同步后插入的行。

现在您不必比较两个世界，您只需获得所有更新和插入。

Answer 5

您需要使用 ODBC 和适当的驱动程序创建链接服务器连接，然后您可以使用 openquery 执行查询。

看看openquery：

https://msdn.microsoft.com/en-us/library/ms188427(v=sql.120).aspx

Answer 6

是的，SQL Server 在处理集合时非常高效，所以让我们继续发挥它。

简而言之，我要推销的是

1. 将数据从源加载到目标数据库上的暂存表（暂存表 = 临时保存源表中的原始数据的表，与源表的结构相同...添加跟踪列来品尝）。这将由您的 C# 代码完成...从 source_table 选择到 DataTable，然后选择 SqlBulkCopy 到暂存表。

2. 在目标数据库上有一个存储过程来协调目标表和暂存表之间的数据。您的 C# 代码调用存储过程。

鉴于您谈论的是数百万行，另一件可以让事情变得更快的事情是在插入到临时表之前删除临时表上的索引，并在插入之后和执行任何选择之前重新创建这些索引。