【问题标题】:How to stream data from Snowflake SQL output to S3 on AWS如何将数据从 Snowflake SQL 输出流式传输到 AWS 上的 S3
【发布时间】:2021-12-05 01:01:19
【问题描述】:

我有一个 SQL 可以在 AWS 账户上托管的三个 Snowflake 表上运行。我想使用 Kafka 或任何其他流服务将基于我的 SQL 输出的任何新记录流式传输到 S3 存储桶。我有哪些实施方案?

【问题讨论】:

    标签: snowflake-cloud-data-platform


    【解决方案1】:

    您可以将数据直接卸载到 S3 存储桶中:

    1. 创建存储集成。
    2. 直接在查询中创建stage或指定bucket url。

    从 mytable storage_integration = s3_int 复制到 s3://mybucket/unload/;

    参考:https://docs.snowflake.com/en/user-guide/data-unload-considerations.html

    【讨论】:

    • 谢谢。如何让我的 Snowflake SQL 流式传输到 s3 存储桶,就像我们可以在 Kafka 周围做的其他方式一样?
    猜你喜欢
    • 1970-01-01
    • 2016-08-23
    • 2021-08-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-07-07
    • 1970-01-01
    相关资源
    最近更新 更多