使用 SSIS 将每个表的数据从服务器 A 动态复制到服务器 B

Question

我的任务是在 SSIS 中创建工作流，它将每个表的数据从服务器 A 复制到服务器 B 中的相同表中。现在，我已经停止从 A 服务器获取数据并复制它到服务器 B。到目前为止，我已经创建了工作流程，步骤如下：

1. 从 Excel 文件中读取数据，其中放置了要处理的表的名称
2. 在目标数据库（服务器 B）中插入此行以备将来使用
3. 在将上述步骤连接到下一个对象的控制流中 - 执行 SQL 任务，其中我将所有加载的名称从表中提取到名为“GlobalListOfTables”的全局项目变量中。
4. 创建了另一个变量“localTable”，我在其中存储了“GlobalListOfTables”变量/集的每一行，我稍后会在“FOR LOOP”中使用它。

这里我已经停下来了，我想做的是：

5. 在这个 LOOP 中，使用创建的“localTable”变量从每个表的源服务器获取所有数据，然后将这些数据插入到目标服务器中与“localTable”变量中相同的表名中。

最后一点 5 让我有点困惑，因为表格会彼此不同，所以没有一种表格敲击模式。

有人可以告诉我在 SSIS 中我应该如何做以及我应该从可用列表中采取哪些控制来实现第 5 点？

Answer 1

传输数据库任务和传输 SQL Server 对象任务

如果您希望将所有数据从一个数据库复制到另一个数据库，您应该参考Transfer Database Task 和Transfer SQL Server Objects Task：

基于Transfer Database Task official documentation：

传输数据库任务在两个 SQL Server 实例之间传输 SQL Server 数据库。与仅通过复制来传输 SQL Server 对象的其他任务相比，传输数据库任务可以复制或移动数据库。此任务还可用于在同一服务器内复制数据库。

另外，基于Transfer SQL Server Objects Task official documentation：

传输 SQL Server 对象任务在 SQL Server 实例之间传输 SQL Server 数据库中的一种或多种类型的对象。例如，任务可以复制表和存储过程。根据用作源的 SQL Server 版本，可以复制不同类型的对象。例如，只有 SQL Server 数据库包含模式和用户定义的聚合。

详细文章

有很多文章描述了如何处理这些任务以及所有可用选项，例如：

• Transfer Database Task and Transfer SQL Server Objects Task in SSIS
• Copy all objects from one database to another in SSIS using “Transfer SQL Server Objects Task”

Answer 2

您可以使用脚本任务中的 C# SMO 对象来执行动态表列表的传输。不需要 SSIS 循环。 SSIS 对象变量 (GlobalListOfTables) 需要包含在脚本任务的 ReadOnlyVariables 字段中。除了下面列出的之外，请确保将 Microsoft.SqlServer.SmoExtended 和 Microsoft.SqlServer.ConnectionInfo 引用添加到脚本任务。

using System.Data;
using Microsoft.SqlServer.Management.Smo;
using System.Collections.Generic;
using System.Data.OleDb;



       string databaseName = "DatabaseName";
       List<string> tableNames = new List<string>();
       DataTable dt = new DataTable();
       OleDbDataAdapter dataAdapter = new OleDbDataAdapter();

        //get table names from SSIS object variable
       dataAdapter.Fill(dt, Dts.Variables["User::SourceServerName"].Value);

        //populate list
        foreach (DataRow dr in dt.Rows)
        {
          tableNames.Add(dr[0].ToString());
        }

        //create source server object
        Server srcServ = new Server(@"SourceServerName");
        srcServ.ConnectionContext.LoginSecure = true;
        srcServ.ConnectionContext.StatementTimeout = 600;
        srcServ.ConnectionContext.Connect();

        //define source database as smo object
        Database sourceDatabase = srcServ.Databases["SourceDatabaseName"];

        Transfer transfer = new Transfer();
        transfer.Database = sourceDatabase;

        //set destination server and database
        transfer.DestinationServer = @"DestinationServerName";
        transfer.DestinationDatabase = databaseName;

        //overwrite objects if they exist
        transfer.DropDestinationObjectsFirst = true;

        transfer.CopyAllObjects = false;
        transfer.CopySchema = true;

        //include data
        transfer.CopyData = true;

        foreach (Table t in sourceDatabase.Tables)
        {   
            //extract table names that were originally in SSIS object variable and avoid system objects
            if (tableNames.Contains(t.Name) && !t.IsSystemObject)
            {
                transfer.ObjectList.Add(t);
            }
        }
        //transfer objects
         transfer.TransferData();