【问题标题】:how to set app name for SparkR?如何为 SparkR 设置应用程序名称?
【发布时间】:2018-01-13 18:42:11
【问题描述】:

有人知道如何为 SparkR 作业设置应用程序名称吗?我根本找不到相关的api。示例代码显示了加载 SparkR 库后 spark 的可用性。

library(SparkR)
sparkR.session()

之后,您可以拨打spark.lapply(...) 电话。如何使用 spark 变量设置应用名称?

【问题讨论】:

    标签: sparkr


    【解决方案1】:

    应用程序名称由sparkR.session()appName 参数设置;来自docs

    sparkR.session(master = "", appName = "SparkR",
      sparkHome = Sys.getenv("SPARK_HOME"), sparkConfig = list(),
      sparkJars = "", sparkPackages = "", enableHiveSupport = TRUE, ...)
    

    【讨论】:

    • 但示例代码从未使用过 sparkR.session。它只是开始引用 spark,并在其上调用 lapply。当我添加语句 sparkR.session(appName = "SomeOtherName") 时,它仍然将 SparkR 显示为应用名称。
    • @bhomass 那是因为您可能运行了一些交互式应用程序(RStudio 或 SparkR shell); appName 主要用于您使用 spark-submit 运行的应用程序
    • 奇怪。我编辑了我的回复,但旧评论仍然出现。我已经搞定了。谢谢你的建议。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-10-15
    • 2014-07-31
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多