【发布时间】:2017-07-20 00:29:28
【问题描述】:
我正在使用 Kinesis firehose 将数据处理为 redshift,并且我正在尝试 Json 和 Csv 格式。
Json 格式对我来说很好,数据正在加载到 redshift 表中。
复制用于 JSON 的命令:
COPY products_json FROM 's3://foldername/' CREDENTIALS 'aws_iam_role=arn:aws:iam:::role/' MANIFEST json 'auto';
放置记录的 CLI 命令:
aws firehose put-record --delivery-stream-name csvtoredshiftstreamingjson --record='Data="{\"productid\":1,\"productname\":\"phone\",\"productprice\" :\"2.30\"}"'
但是,当我使用 CSV 时,数据存在于 S3 中,但未加载到 redshift 中。
复制用于 CSV 的命令:
COPY products_csv FROM 's3://foldername/' CREDENTIALS 'aws_iam_role=arn:aws:iam:::role/' MANIFEST csv;
放置 CSV 记录的 CLI 命令:
aws firehose put-record --delivery-stream-name csvtoredshiftstream --record='Data="1,Phone,2.30"'
记录正在处理到 S3,但未加载到 redshift。 STL_LOAD_ERRORS 表也没有任何记录。
如果我遗漏了什么,请告诉我。
谢谢。
【问题讨论】:
-
你见过the current AWS status page - 一切都有些混乱,但又开始卷土重来。
-
感谢您的 cmets,这是真的,但我报告的问题自上周以来一直存在,我相信我遗漏了一些东西。
标签: amazon-web-services amazon-kinesis amazon-kinesis-firehose amazon-kinesis-kpl amazon-kinesis-agent