SSIS 无法保存包并重新启动 Visual Studio

Question

这是我第一次使用 SSIS，所以请多多包涵…… 我正在使用 SSIS 将表从 Oracle 迁移到 SSMS，我正在尝试传输一些非常大的表（5000 万行 +）。当我只是试图保存包（甚至不运行它）时，SSIS 现在完全冻结并重新启动 VS。它不断返回内存不足的错误，但是，我正在一个远程服务器上工作，该服务器具有运行此软件包所需的 RAM。

尝试保存时出现错误消息

我唯一能想到的是，当这个包试图运行时，我的以太网 Kbps 在包启动时就已经过时了。也许需要更新我的管道？

以太网图

此外，由于字节大小，我最大的表在导入时会失败（同样，几乎没有使用服务器上的所有内存）。我们正在使用 ODBC 源，因为这是我们能够让其他大型表上传超过 100 万行的唯一方法。

我尝试创建一个临时缓冲区文件来帮助缓解内存压力，但没有任何变化。我已将AutoAdjustBufferSize 更改为True，结果没有变化。也改变了DefaultBufferMaxRows 和DefaultBufferSize.. 没有改变。

运行大型表时的错误：

信息：SRC_STG_TABLENAME 处的 0x4004300C，SSIS.Pipeline：执行 阶段开始了。

信息：SRC_STG_TABLENAME 处的 0x4004800D：缓冲区管理器 失败的内存分配调用 810400000 字节，但无法 换出任何缓冲区以减轻内存压力。 2个缓冲区 考虑和 2 个被锁定。

要么没有足够的内存可供管道使用，因为没有 安装了足够多，其他进程正在使用它，或者太多 缓冲区被锁定。

信息：SRC_STG_TABLENAME 处的 0x4004800F：缓冲区管理器 在 2 个物理缓冲区中分配了 1548 兆字节。

信息：SRC_STG_TABLENAME 处的 0x40048010：组件“ODBC Source" (60) 拥有 775 兆字节的物理缓冲区。

信息：SRC_STG_TABLENAME 处的 0x4004800D：缓冲区管理器 失败的内存分配调用 810400000 字节，但无法 换出任何缓冲区以减轻内存压力。 2个缓冲区 考虑和2被锁定。

要么没有足够的内存可供管道使用，因为没有 安装了足够多，其他进程正在使用它，或者太多 缓冲区被锁定。

信息：SRC_STG_TABLENAME 处的 0x4004800F：缓冲区管理器 在 2 个物理缓冲区中分配了 1548 兆字节。

信息：SRC_STG_TABLENAME 处的 0x40048010：组件“ODBC Source" (60) 拥有 775 兆字节的物理缓冲区。

信息：SRC_STG_TABLENAME 处的 0x4004800D：缓冲区管理器 失败的内存分配调用 810400000 字节，但无法 换出任何缓冲区以减轻内存压力。 2个缓冲区 考虑和2被锁定。

要么没有足够的内存可供管道使用，因为没有 安装了足够多，其他进程正在使用它，或者太多 缓冲区被锁定。

信息：SRC_STG_TABLENAME 处的 0x4004800F：缓冲区管理器 在 2 个物理缓冲区中分配了 1548 兆字节。

信息：SRC_STG_TABLENAME 处的 0x40048010：组件“ODBC Source" (60) 拥有 775 兆字节的物理缓冲区。

错误：SRC_STG_TABLENAME 处的 0xC0047012：缓冲区失败，而 分配 810400000 字节。

错误：SRC_STG_TABLENAME 处的 0xC0047011：系统报告 26 内存负载百分比。有68718940160字节的物理内存 有 50752466944 字节免费。有4294836224字节的虚拟 内存有 914223104 字节可用。分页文件有84825067520 字节，其中 61915041792 字节可用。

信息：SRC_STG_TABLENAME 处的 0x4004800F：缓冲区管理器 在 2 个物理缓冲区中分配了 1548 兆字节。

信息：SRC_STG_TABLENAME 处的 0x40048010：组件“ODBC Source" (60) 拥有 775 兆字节的物理缓冲区。

错误：SRC_STG_TABLENAME 处的 0x279，ODBC 源 [60]：添加失败 行输出缓冲区。

错误：SRC_STG_TABLENAME 处的 0x384，ODBC 源 [60]：打开数据库 发生连接 (ODBC) 错误。

错误：SRC_STG_TABLENAME 处的 0xC0047038，SSIS.Pipeline：SSIS 错误 代码 DTS_E_PRIMEOUTPUTFAILED。 ODBC 源上的 PrimeOutput 方法 返回错误代码 0x80004005。组件返回失败代码 当管道引擎调用 PrimeOutput() 时。的意义 失败代码由组件定义，但错误是致命的并且 管道停止执行。可能会发布错误消息 在此之前提供有关失败的更多信息。

这真的阻碍了我的工作。帮助！

Answer 1

我建议分块读取数据：

不要加载整个表，而是尝试将数据拆分成块并将它们导入 SQL Server。有一段时间，我answered a similar answer related to SQLite，我会尝试重现它以适应 Oracle 语法：

---

分步指南

在这个例子中，每个块包含 10000 行。

1. 声明 2 个 Int32 类型的变量（@[User::RowCount] 和 @[User::IncrementValue]）
2. 添加一个Execute SQL Task 执行select Count(*) 命令并将结果集存储到变量@[User::RowCount]

1. 添加具有以下首选项的 For 循环：

4. 在for循环容器内添加Data flow task
5. 在数据流任务中添加ODBC Source 和OLEDB Destination
6. 在 ODBC 源中选择 SQL Command 选项并编写 SELECT * FROM TABLE 查询 *（仅检索元数据`
7. 映射源和目标之间的列
8. 返回Control flow并点击Data flow task并按F4查看属性窗口

9. 在属性窗口中转到表达式并将以下表达式分配给[ODBC Source].[SQLCommand] 属性：（更多信息请参阅How to pass SSIS variables in ODBC SQLCommand expression?）

   "SELECT * FROM MYTABLE ORDER BY ID_COLUMN
   OFFSET " + (DT_WSTR,50)@[User::IncrementValue] + "FETCH NEXT 10000 ROWS ONLY;"
   

其中MYTABLE 是源表名，IDCOLUMN 是您的主键或标识列。

控制流截图

参考文献

• ODBC Source - SQL Server
• How to pass SSIS variables in ODBC SQLCommand expression?
• HOW TO USE SSIS ODBC SOURCE AND DIFFERENCE BETWEEN OLE DB AND ODBC?
• How do I limit the number of rows returned by an Oracle query after ordering?
• Getting top n to n rows from db2

---

更新 1 - 其他可能的解决方法

在搜索类似问题时，我发现了一些您可以尝试的其他解决方法：

(1) 更改 SQL Server 最大内存

• SSIS: The Buffer Manager Failed a Memory Allocation Call

  sp_configure 'show advanced options', 1;
  GO
  RECONFIGURE;
  GO
  sp_configure 'max server memory', 4096;
  GO
  RECONFIGURE;
  GO
  

(2) 启用命名管道

• [Fixed] The buffer manager detected that the system was low on virtual memory, but was unable to swap out any buffers

  1. 进入控制面板->管理工具->计算机管理
  2. 关于 SQL 实例的协议 -> 设置命名管道 = Enabled
  3. 重启 SQL 实例服务
  4. 之后尝试导入数据，它现在会以块的形式获取数据，而不是一次获取所有数据。希望这对你们有用并节省您的时间。

(3) 如果使用 SQL Server 2008 安装修补程序

• The SSIS 2008 runtime process crashes when you run the SSIS 2008 package under a low-memory condition

---

更新 2 - 了解错误

在下面的MSDN link中，错误原因描述如下：

虚拟内存是物理内存的超集。 Windows 中的进程通常不会指定要使用的进程，因为这会（极大地）抑制 Windows 如何进行多任务处理。 SSIS 分配虚拟内存。如果 Windows 能够，所有这些分配都保存在物理内存中，访问速度更快。但是，如果 SSIS 请求的内存比物理可用的多，那么该虚拟内存会溢出到磁盘，从而使包的运行速度变慢几个数量级。而在最坏的情况下，如果系统中没有足够的虚拟内存，那么这个包就会失败。

Answer 2

您是否正在并行运行您的软件包？如果是的话，换成serie。

您还可以尝试使用模数之类的操作将这个大表划分为子集。看那个例子：

http://henkvandervalk.com/reading-as-fast-as-possible-from-a-table-with-ssis-part-ii

（在例子中，他是并行运行的，但你可以把它放在serie）

此外，如果您在运行 SQL Server 实例的计算机上运行 SSIS 包，则在运行该包时，请将 SQL Server 实例的最大服务器内存选项设置为较小的值。 这将增加可用内存。