引号中嵌入换行符的 Redshift 副本

Question

尝试使用带引号的换行符将数据从 S3 复制到 Redshift CSV 文件示例：

Line 1 -->  ID,Description,flag
Line 2 -->  "1111","this is a test", "FALSE"
Line 3 -->  "2222","I hope someone
            could help", "TRUE"
Line 4 -->  "3333", "NA", "FALSE"

样本表：

TEST_TABLE:
ID VARCHAR(100)
DESCRIPTION VARCHAR(100)
FLAG VARCHAR(100)

如果您注意到第 2 行有一个换行符，我在使用 COPY 命令时收到错误 Delimited value missing end quote。

这是我使用的复制命令：

copy table_name
from sample.csv
  credentials aws_access_key_id= blah; aws_secret_access_key=blah
  DELIMITER ','
  removequotes
  trimblanks
  ESCAPE ACCEPTINVCHARS
  EMPTYASNULL
  IGNOREHEADER 1
  COMPUPDATE OFF;
commit;

我也尝试了 CSV 选项，但得到“找到额外的列”：

copy table_name
from sample.csv
  credentials aws_access_key_id= blah; aws_secret_access_key=blah
  CSV
  IGNOREHEADER 1
  COMPUPDATE OFF;
commit;

我希望第 2 行中的描述列与换行符一起加载。

Answer 1

由于字段由引号分隔，请使用CSV option。

注意：CSV 不能与FIXEDWIDTH、REMOVEQUOTES 或ESCAPE 一起使用。