【问题标题】:Datapipeline from Sagemaker to Redshift从 Sagemaker 到 Redshift 的数据管道
【发布时间】:2020-10-28 17:57:19
【问题描述】:

我想在这里与社区确认他们是否已经探索了从 Sagemaker 直接到 Redshift 的管道选项。 我想将 Sagemaker 中的预测数据加载到 Redshift 中的表中。我打算通过 S3 来做,但想知道是否有更好的方法来做到这一点。

【问题讨论】:

    标签: amazon-redshift pipeline amazon-sagemaker


    【解决方案1】:

    如果您的特定用例可以接受,我认为您在 S3 中暂存数据的想法是一个很好的基线设计:

    • SageMaker 顺利连接到 S3(通过批量转换或处理作业)
    • Redshift COPY 语句是有效加载数据的最佳实践,可以从 S3 完成(“COPY 加载大量数据的效率比使用 INSERT 语句的效率高得多,并且存储数据的效率也更高。” - Redshift documentation)

    【讨论】:

    • 是的,这也是我的想法。但认为可能有更好的设计。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-01-16
    • 2017-07-13
    • 2023-01-13
    • 1970-01-01
    • 1970-01-01
    • 2022-07-27
    相关资源
    最近更新 更多