【发布时间】:2016-01-27 09:46:00
【问题描述】:
我正在使用 AWS Kinesis Firehose 将文件写入 S3,然后将其加载到 Redshift。我的表上有一个 TIMESTAMP 列:
create table TABLE_NAME
(
...
COLUMN_NAME TIMESTAMP,
...
)
Firehose 中的 Redshift COPY 选项给出了列的格式:
DELIMITER '\t' GZIP DATEFORMAT AS 'YYYYMMDD' TIMEFORMAT AS 'YYYYMMDDHH24MISS' MAXERROR 1000
COLUMN_NAME 的数据并不总是被填充。在这种情况下,我将 TIMESTAMP 列的数据设置为空字符串。发生这种情况时,我看到 Redshift 加载错误,错误代码为 1206:
Invalid timestamp format or value [YYYYMMDDHH24MISS]
有趣的是,我的加载仍然成功。此 TIMESTAMP 列的空字符串记录仍然可以正常加载到我的 Redshift 表中,但我一直看到这些错误记录到 stl_load_errors 表中。
我应该设置一个 Redshift COPY 选项来忽略这些错误吗?我应该在数据中设置一个关键字而不是一个空白字符串吗?
【问题讨论】:
-
我相信你想设置为null,而不是空字符串。
-
我有 95% 的把握在使用空字符串方法之前尝试将该位置的字符串“NULL”写入我的流,并且加载以类似的方式失败。不过,我会再试一次。
-
字符串不要写null,直接写NULL。字符串是字符串,NULL 不是字符串。此外,通过设置 NULL,您可以在查询中使用“where timestamp IS NULL”。
标签: amazon-web-services amazon-redshift amazon-kinesis