【发布时间】：2018-06-21 07:05:56
【问题描述】：
在交互式 pyspark 会话中，您可以通过 sc.addPyFile('file_location') 导入 python 文件。如果您需要对该文件进行更改并保存它们，是否有任何方法可以“重新广播”更新后的文件，而无需关闭您的 spark 会话并开始一个新的会话？
简单地再次添加文件是行不通的。我不确定重命名文件是否有效，但无论如何我都不想这样做。
据我从 spark 文档中可以看出，只有一种添加 pyfile 的方法，而不是更新一个。我希望我错过了什么！
谢谢
【问题讨论】：
-
我还没有测试过这个，但是你能在你的 pyspark-shell 中关注stackoverflow.com/questions/6946376/… 吗？
-
您是否尝试在 spark-defaults.conf 中将 spark.files.overwrite 设置为 true？ spark.apache.org/docs/latest/configuration.html
-
嗯，我没有尝试过其中任何一个。你的 sparknoob 听起来正是我正在寻找的东西，所以我会先尝试并回复你。谢谢。
-
不，不幸的是那些对我不起作用。我尝试了 sc.addFile 和 sc.addPyFile，但它们似乎都没有在会话中用我的更改覆盖文件。还有其他可能的解决方案吗？
-
查看stackoverflow.com/a/44387776/1843329，尽管听起来该解决方案在实践中并不可靠。
标签： python apache-spark pyspark