将 Spark DataFrame 覆盖到位置答案

【问题标题】：Overwrite a Spark DataFrame into location将 Spark DataFrame 覆盖到位置
【发布时间】：2017-11-15 23:24:46
【问题描述】：

我想使用spark_write_* 函数将我的 Spark DataFrame 保存到目录中，如下所示：

spark_write_csv(df, "file:///home/me/dir/")

但是如果目录已经存在我会得到错误：

ERROR: org.apache.spark.sql.AnalysisException: path file:/home/me/dir/ already exists.;

当我处理相同的数据时，我想覆盖这个目录 - 我该如何实现？在文档中有一个参数：

mode  Specifies the behavior when data or table already exists.

但它没有说明你应该使用什么值。

【问题讨论】：

标签： r sparklyr

【解决方案1】：

参数mode 应该简单地具有值"overwrite"：

spark_write_csv(df, "file:///home/me/dir/", mode = "overwrite")

【讨论】：