【问题标题】:SSIS BCP & Flat File - Is there a limit to how many records can be in the file?SSIS BCP 和平面文件 - 文件中的记录数量是否有限制?
【发布时间】:2012-09-27 18:28:52
【问题描述】:

我正在使用的文件有大约 2.07 亿行。在 SSIS 中它一直失败。

第 1 行第 2 列的数据文件中的列太长。请验证是否正确指定了字段终止符和行终止符。

现在,当我复制一大块行并将其放入另一个 txt 并导入时,我没有收到错误消息。

如果我不使用批量插入并使用常规数据流任务,我可以将行导入 sql。

【问题讨论】:

    标签: ssis


    【解决方案1】:

    您应该检查两件事:

    1. 2 的列长度定义。它可能设置为 100 之类的东西,而您尝试导入的行的列长度高于此值。

    2. 检查是否有可能出现在数据中的列分隔符。想象你得到一个以; 作为分隔符的文件,当你得到一个包含分号的值时,平面文件会遇到问题。

    该文件很长,但我认为它与它无关,因为错误可能是其他原因。

    【讨论】:

    • 我在较小版本的大文件上成功使用了 BCP....但是当我尝试使用大文件时出现错误。
    • 考虑以下情况:通过创建和配置导入平面文件的新任务,平面文件将猜测每个导入列的输出列的长度。猜测一下,它使用前约 100 行。因此,如果有 100 个长度为 10 的列值并且值 101 的长度为 20,则您的任务将失败。这可能是文件内部的错误,例如缺少分隔符,或者值变化很大。
    【解决方案2】:

    您可以做的另一件事是确保在 oledb 目标上关闭批量插入。在极少数情况下,我会得到打开时无法插入的记录。

    事实上,如果有人知道这是为什么,我很想知道。

    【讨论】:

      猜你喜欢
      • 2011-10-04
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-03-09
      • 1970-01-01
      • 2014-10-16
      • 2011-02-08
      • 1970-01-01
      相关资源
      最近更新 更多