【发布时间】:2015-09-01 15:12:49
【问题描述】:
当使用 COPY 命令加载带有清单的 Amazon Redshift 时,假设其中一个文件包含错误。
有没有办法只记录该文件的错误,但继续加载其他文件?
【问题讨论】:
标签: amazon-redshift
当使用 COPY 命令加载带有清单的 Amazon Redshift 时,假设其中一个文件包含错误。
有没有办法只记录该文件的错误,但继续加载其他文件?
【问题讨论】:
标签: amazon-redshift
清单文件表示文件是否强制以及如果找不到文件是否应生成错误。 (Using a Manifest to Specify Data Files)
如果无法读取文件,COPY 命令将重试。 (Errors When Reading Multiple Files)
COPY 命令可以指定一个MAXERRORS 参数,在COPY 命令失败之前允许一定数量的错误。 (MAXERROR)
从文件加载数据时,Amazon Redshift 将报告STL_LOAD_ERRORS 表中的任何错误。 (STL_LOAD_ERRORS)
【讨论】:
如上所述,maxerror 属性应满足上述要求。
此外,copy-noload 属性在不加载的情况下检查数据的有效性。使用 NOLOAD 参数运行更快,因为它只解析文件
【讨论】: