从 Spark Data Frame 写入名为 stage 的 Snowflake答案

【问题标题】：Writing from Spark Data Frame to Snowflake named stage从 Spark Data Frame 写入名为 stage 的 Snowflake
【发布时间】：2022-01-06 16:49:52
【问题描述】：

我是雪花的新手，对火花非常天真。是否有任何参考或好的示例如何将数据从 spark 数据帧写入雪花中的命名阶段。

感谢您的帮助！

【问题讨论】：

【解决方案1】：

我们的API参考中提供了示例，您可以阅读更多here

将 DataFrame 写入 Snowflake 的简单示例：

df.write.mode("overwrite").saveAsTable("T")

舞台在两者之间使用，但目标是一张桌子。

【讨论】：

谢谢塞尔吉。我们已经写过使用 table stage，但正在寻找如何使用 snowflake stage 文件系统编写的参考。因为写入文件系统会更快，并且 spark 从 .是否有任何参考或示例
我没有看到任何特定的“雪花阶段文件系统”。雪花有不同的阶段，例如与内部阶段相关的内部、用户和表阶段。可以参考：docs.snowflake.com/en/sql-reference/sql/create-stage.html
HI Anand，我的意思是通过 sf stage 文件系统命名 stage
嗨@Koushur，这不是舞台的目的，用于代替目标表。是的，您可以将文件上传到暂存区并从中读取 DataFrame，但最终它仍然是数据必须放置的表。