【发布时间】:2021-11-13 09:59:12
【问题描述】:
根据雪花文档here:
根据 AWS 指南,Snowflake 指定的 SQS 不超过一个 每个 S3 存储桶的队列。此 SQS 队列可以在多个之间共享 同一 AWS 账户中的存储桶。 SQS 队列坐标 连接 S3 外部阶段的所有管道的通知 存储桶到目标表。当一个数据文件被上传到 桶,所有匹配阶段目录路径的管道执行一个 将文件一次性加载到相应的目标表中。
我正在配置Snowpipe,依赖snowflake提供的SQS Queue的ARN(可以通过DESCRIBE PIPE <pipe name>查询)。但我对声明感到困惑:
这个 SQS 队列可以被多个共享 同一 AWS 账户中的存储桶
Snowflake 是否对所有存储桶使用单个 SQS 队列?我如何知道是使用相同的 SQS 队列还是 Snowflake 会创建一个新队列?
【问题讨论】:
标签: snowflake-cloud-data-platform