如何将数据从 Snowflake SQL 流式传输到 S3？使用 Kafka 或其他服务

Question

我们今天有一个 COPY 语句，用于在 Snowflake Warehouse 上运行 SQL，并使用 Snowflake 的 External Stage 和 Storage Integration 对象将数据下载到我们的 S3 存储桶。

现在，我想构建一个自动化管道，COPY 语句获取的任何新记录都应该使用相同的外部状态和存储集成对象自动将此数据写入我们的 S3 存储桶。

我从下面的链接中了解到，我们可以将数据从 Kafka 流式传输到 Snowflake。我们可以做同样的事情，但反过来，即从 Snowflake 到 Kafka 再到 S3。

https://community.snowflake.com/s/article/How-To-Streaming-From-Kafka-to-Snowflake-Part-2-S3-to-Snowflake-with-Snowpipe

Answer 1

Snowpipe 是一个类似“AWS Lamda”的进程，它监控“外部文件存储”并在文件到达时运行“摄取代码”。

反之亦然，即“监视您的表以进行插入/更新/删除”并将该增量信息写入存储桶。

但是让我们退后一步，什么时候做“事情写入你的表”=“当你插入更多数据时”，那么你使用什么过程“写入更多”，为什么不让那个“写入外部存储”。如果新数据是外部数据，如果是内部数据，如果没有新的外部数据，你的数据是怎么变化的？

除非您正在使用其他人的共享数据，并且您想要导出该数据。这听起来很可疑，但您很可能必须轮询共享数据。

另一种方法是将数据推送到external function 请求，因此您可以使用端点将新数据排入队列，然后对其进行批处理/流式传输。