如何在 Pyspark Snowflake Connector 中使用 PURGE 选项？答案

【问题标题】：How to use PURGE option in Pyspark Snowflake Connector?如何在 Pyspark Snowflake Connector 中使用 PURGE 选项？
【发布时间】：2021-07-01 16:44:36
【问题描述】：

如何在 pyspark-snowflake 连接器选项中使用 PURGE 选项？我正在使用以下配置-

df.write.mode('overwrite') \
        .format(SNOWFLAKE_SOURCE_NAME) \
        .options(sfURL=[url],
                 sfUser=[user],
                 sfDatabase=[database],
                 sfSchema=[schema],
                 sfWarehouse=[warehouse],
                 sfRole=[role],
                 pem_private_key=pkb) \
        .option('truncate_table', 'ON') \
        .option('usestagingtable', 'OFF') \
        .option('continue_on_error', 'on') \
        .option('purge', 'off') \
        .option('dbtable', [dbtable]) \
        .save()

但似乎每次我们加载数据时，在将数据从 py-spark 加载到雪花时生成的临时文件都会被删除。我在雪花文档中读到，如果清除选项关闭，则不应删除该文件。请让我知道如何在火花雪花连接器中使用此选项。谢谢

【问题讨论】：

我想知道为什么我们现在有 3 个人拼命要求这个？
你可以试试 .option("purge", "true") 看看是否有效？

标签： apache-spark pyspark snowflake-cloud-data-platform

【解决方案1】：

df.write.mode('overwrite') 将此更改为df.write.mode('append') // 默认情况下，覆盖将首先删除现有文件并保存新文件

【讨论】：