【问题标题】:Loading Amazon Redshift with a manifest, with an error in one file使用清单加载 Amazon Redshift,但一个文件中有错误
【发布时间】:2015-09-01 15:12:49
【问题描述】:

当使用 COPY 命令加载带有清单的 Amazon Redshift 时,假设其中一个文件包含错误。

有没有办法只记录该文件的错误,但继续加载其他文件?

【问题讨论】:

    标签: amazon-redshift


    【解决方案1】:

    清单文件表示文件是否强制以及如果找不到文件是否应生成错误。 (Using a Manifest to Specify Data Files)

    如果无法读取文件,COPY 命令将重试。 (Errors When Reading Multiple Files)

    COPY 命令可以指定一个MAXERRORS 参数,在COPY 命令失败之前允许一定数量的错误。 (MAXERROR)

    从文件加载数据时,Amazon Redshift 将报告STL_LOAD_ERRORS 表中的任何错误。 (STL_LOAD_ERRORS)

    【讨论】:

      【解决方案2】:

      如上所述,maxerror 属性应满足上述要求。

      此外,copy-noload 属性在不加载的情况下检查数据的有效性。使用 NOLOAD 参数运行更快,因为它只解析文件

      【讨论】:

        猜你喜欢
        • 2017-12-30
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2016-09-19
        • 2012-10-06
        • 2016-01-17
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多