【问题标题】:AWS Redshift -- loading into a TIMESTAMP fieldAWS Redshift——加载到 TIMESTAMP 字段中
【发布时间】:2016-01-27 09:46:00
【问题描述】:

我正在使用 AWS Kinesis Firehose 将文件写入 S3,然后将其加载到 Redshift。我的表上有一个 TIMESTAMP 列:

create table TABLE_NAME
(
  ...
  COLUMN_NAME TIMESTAMP,
  ...
)

Firehose 中的 Redshift COPY 选项给出了列的格式:

DELIMITER '\t' GZIP DATEFORMAT AS 'YYYYMMDD' TIMEFORMAT AS 'YYYYMMDDHH24MISS' MAXERROR 1000

COLUMN_NAME 的数据并不总是被填充。在这种情况下,我将 TIMESTAMP 列的数据设置为空字符串。发生这种情况时,我看到 Redshift 加载错误,错误代码为 1206:

Invalid timestamp format or value [YYYYMMDDHH24MISS]

有趣的是,我的加载仍然成功。此 TIMESTAMP 列的空字符串记录仍然可以正常加载到我的 Redshift 表中,但我一直看到这些错误记录到 stl_load_errors 表中。

我应该设置一个 Redshift COPY 选项来忽略这些错误吗?我应该在数据中设置一个关键字而不是一个空白字符串吗?

【问题讨论】:

  • 我相信你想设置为null,而不是空字符串。
  • 我有 95% 的把握在使用空字符串方法之前尝试将该位置的字符串“NULL”写入我的流,并且加载以类似的方式失败。不过,我会再试一次。
  • 字符串不要写null,直接写NULL。字符串是字符串,NULL 不是字符串。此外,通过设置 NULL,您可以在查询中使用“where timestamp IS NULL”。

标签: amazon-web-services amazon-redshift amazon-kinesis


【解决方案1】:

我认为您可以在 COPY 命令中使用 ACCEPTANYDATE 参数

【讨论】:

    猜你喜欢
    • 2020-12-30
    • 1970-01-01
    • 2014-07-04
    • 1970-01-01
    • 2019-06-07
    • 1970-01-01
    • 1970-01-01
    • 2015-09-16
    • 1970-01-01
    相关资源
    最近更新 更多