【问题标题】:Kinesis Firehose load csv data into RedshiftKinesis Firehose 将 csv 数据加载到 Redshift
【发布时间】:2017-07-20 00:29:28
【问题描述】:

我正在使用 Kinesis firehose 将数据处理为 redshift,并且我正在尝试 Json 和 Csv 格式。

Json 格式对我来说很好,数据正在加载到 redshift 表中。

复制用于 JSON 的命令:

COPY products_json FROM 's3://foldername/' CREDENTIALS 'aws_iam_role=arn:aws:iam:::role/' MANIFEST json 'auto';

放置记录的 CLI 命令:

aws firehose put-record --delivery-stream-name csvtoredshiftstreamingjson --record='Data="{\"productid\":1,\"productname\":\"phone\",\"productprice\" :\"2.30\"}"'

但是,当我使用 CSV 时,数据存在于 S3 中,但未加载到 redshift 中。

复制用于 CSV 的命令:

COPY products_csv FROM 's3://foldername/' CREDENTIALS 'aws_iam_role=arn:aws:iam:::role/' MANIFEST csv;

放置 CSV 记录的 CLI 命令:

aws firehose put-record --delivery-stream-name csvtoredshiftstream --record='Data="1,Phone,2.30"'

记录正在处理到 S3,但未加载到 redshift。 STL_LOAD_ERRORS 表也没有任何记录。

如果我遗漏了什么,请告诉我。

谢谢。

【问题讨论】:

  • 你见过the current AWS status page - 一切都有些混乱,但又开始卷土重来。
  • 感谢您的 cmets,这是真的,但我报告的问题自上周以来一直存在,我相信我遗漏了一些东西。

标签: amazon-web-services amazon-kinesis amazon-kinesis-firehose amazon-kinesis-kpl amazon-kinesis-agent


【解决方案1】:

我能够通过解除 Redshift 中的以下 Ips 提供对 redshift 的 Firehose 访问来克服这个问题

美国东部(弗吉尼亚北部)为 52.70.63.192/27 美国西部(俄勒冈)的 52.89.255.224/27 52.19.239.192/27 用于欧盟(爱尔兰)

firehose 使用这些 IP 地址与 Redshift 进行通信。

感谢和问候, 斯里维涅什 KN

【讨论】:

    猜你喜欢
    • 2021-01-05
    • 2018-06-02
    • 2016-03-16
    • 2018-12-05
    • 2021-07-16
    • 2017-08-10
    • 2018-11-03
    • 2021-09-27
    相关资源
    最近更新 更多