【问题标题】:How can I know if Snowflake will create a new SQS Queue?我如何知道 Snowflake 是否会创建新的 SQS 队列?
【发布时间】:2021-11-13 09:59:12
【问题描述】:

根据雪花文档here

根据 AWS 指南,Snowflake 指定的 SQS 不超过一个 每个 S3 存储桶的队列。此 SQS 队列可以在多个之间共享 同一 AWS 账户中的存储桶。 SQS 队列坐标 连接 S3 外部阶段的所有管道的通知 存储桶到目标表。当一个数据文件被上传到 桶,所有匹配阶段目录路径的管道执行一个 将文件一次性加载到相应的目标表中。

我正在配置Snowpipe,依赖snowflake提供的SQS Queue的ARN(可以通过DESCRIBE PIPE <pipe name>查询)。但我对声明感到困惑:

这个 SQS 队列可以被多个共享 同一 AWS 账户中的存储桶

Snowflake 是否对所有存储桶使用单个 SQS 队列?我如何知道是使用相同的 SQS 队列还是 Snowflake 会创建一个新队列?

【问题讨论】:

    标签: snowflake-cloud-data-platform


    【解决方案1】:

    您可以检查管道使用的 SQS 队列:

    select pipe_name, notification_channel_name from information_schema.pipes;
    

    我创建了 3 个管道用于测试,它们在同一帐户中使用 2 个存储桶,我发现它们都使用相同的 SQS 队列。

    https://docs.snowflake.com/en/sql-reference/info-schema/pipes.html

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2016-08-18
      • 1970-01-01
      • 1970-01-01
      • 2020-10-24
      • 2014-03-18
      • 2018-02-13
      • 1970-01-01
      相关资源
      最近更新 更多