【问题标题】:How to query different S3-compatible object storage by PrestosqlPrestosql如何查询不同S3兼容的对象存储
【发布时间】:2019-11-10 16:20:49
【问题描述】:

背景

prestosql 在通过 hive.s3.aws-access-keyhive.s3.aws-secret-key 使用带有单个 HMAC 密钥对的 S3 配置的 URI 前缀 s3a:// 时,可以很好地处理 S3 和 S3 兼容对象存储(例如,IBM 云对象存储)上的数据。 prestosql 指南Amazon S3 Configuration - Hive Connector.

问题

当数据在两个云帐户的两个不同存储桶中提供时,这意味着客户端必须使用两个不同的 HMAC 密钥对来访问对象。是否意味着必须通过prestosql中的hive连接器配置两个目录?

这在使用 IBM 云时很常见,其中对象存储服务作为不同云帐户的实例进行管理。

【问题讨论】:

    标签: presto object-storage ibm-cloud-storage trino


    【解决方案1】:

    是的,您需要配置两个单独的配置单元目录。

    或者,您可以使用客户端提供的额外凭据(现在 GCS 支持此功能,但可以轻松扩展为与 S3 兼容)。

    【讨论】:

    • 感谢您的回复!我们发现的另一条路径是使用 stocator 作为 presto 的备用对象存储客户端。它提供了一个称为多服务端点的功能,允许 Spark 查询多个 s3 兼容的对象存储服务端点。请参阅github.com/CODAIT/stocator#using-multiple-service-names 虽然这是为 Spark 设计的,但它也适用于 Presto。一旦我们有了可行的解决方案,将尝试粘贴答案。
    猜你喜欢
    • 2022-10-18
    • 1970-01-01
    • 2022-12-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-08-26
    相关资源
    最近更新 更多