PySpark 创建 CSV 不起作用，仅 _SUCCESS 文件

Question

这可能是一个愚蠢的问题，但我刚刚开始学习 spark，现在我面临着我的第一个问题，我无法通过书籍和谷歌解决......

我正在使用 Zeppelin 并尝试使用服务器日志进行一些分析。

我的 df 看起来像：

现在我想使用以下代码将其保存为 CSV：

df_reduced.write.format("csv").mode("overwrite").save("/home/hduser/tmp")

我总是得到一个新的 _SUCCESS 文件，但没有 CSV：

我做错了什么？

提前致谢。

Answer 1

我可以解决它

df_pd = df_reduced.toPandas()
df_pd.to_csv("test.csv")

但这感觉有点像解决方法。

如果有任何建议我如何在没有 Pandas 的情况下解决它，我会很高兴。