【问题标题】:The S3 bucket addressed by the query is in a different region from this cluster but region parameter not supported for parquet files查询处理的 S3 存储桶与该集群位于不同的区域,但 parquet 文件不支持区域参数
【发布时间】:2021-04-22 16:30:05
【问题描述】:

我正在使用复制命令从 s3 存储桶填充 Redshift 数据库。他们在不同的地区,所以我插入了

    '...FORMAT AS PARQUET REGION AS 'us-east-1'

但这给出了错误:

    psycopg2.errors.FeatureNotSupported: REGION argument is not supported for PARQUET based COPY

有人可以为此提出解决方案吗?

【问题讨论】:

  • 是的区域参数不支持 parquet 格式复制命令。文档中给出的发布了解决此问题的解决方案。

标签: amazon-web-services amazon-s3 amazon-redshift


【解决方案1】:

它的真实区域选项没有格式化为从列数据格式复制:ORC and PARQUET

docs says : Amazon S3 存储桶必须与 Amazon Redshift 集群位于同一 AWS 区域中。

仅支持以下 COPY 参数:

FROM

IAM_ROLE

CREDENTIALS

STATUPDATE

MANIFEST

ACCESS_KEY_ID, SECRET_ACCESS_KEY, and SESSION_TOKEN.

我的建议:- 将数据从一个 s3 传输到不同区域的另一个。可以从 aws https://aws.amazon.com/premiumsupport/knowledge-center/move-objects-s3-bucket/ 关注此博客。 或者在你的数据所在的区域启动你的集群,但是从 s3 复制数据是很可行的

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2022-01-16
    • 2018-08-05
    • 2015-06-29
    • 2019-05-02
    • 2018-08-31
    • 1970-01-01
    • 2014-02-16
    • 2020-09-25
    相关资源
    最近更新 更多