【问题标题】:How to export the output of apache spark program into a csv or text file when using Spark on Amazon EMR在 Amazon EMR 上使用 Spark 时如何将 apache spark 程序的输出导出为 csv 或文本文件
【发布时间】:2015-02-23 23:13:09
【问题描述】:

我想知道在将 SVM 算法运行到 csv 文件后如何打印输出。我在 AWS EMR 上托管我的 spark 集群。因此,我访问的任何文件都只能从 S3 保存和访问。因此,当我使用 saveAsTextFile 命令并指定 aws 路径时,我看不到输出文件存储在 S3 中。有这方面的建议吗?

【问题讨论】:

标签: apache-spark svm


【解决方案1】:

您可以使用 Spark“saveAsTextFile”操作将结果写入文件。

有一个例子Here

【讨论】:

  • 我在 AWS EMR 上托管我的 spark 集群。所以我访问的任何文件都只能从 S3 保存和访问。因此,当我使用 saveAsTextFile 命令并指定 aws 路径时,我看不到输出文件存储在 S3 中。在这方面有什么建议吗?
  • 我在 EMR 上使用 Spark,因为我在独立安装 Spark 时遇到了问题。您有任何说明或博客文章可以用来安装 Spark?
  • 你需要做类似 RDDName.saveAsTextFile("s3://bucket name/file name")
猜你喜欢
  • 2016-09-16
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-02-11
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多