【问题标题】:SparkR sql Context Error after initiating spark R Context job启动 spark R 上下文作业后 SparkR sql 上下文错误
【发布时间】:2015-07-15 11:42:27
【问题描述】:

我已经安装了 sparkR 包,并且可以运行其他计算作业,例如文档中的 pi 计数或字数计数。但是当我尝试启动 sparkRSql 作业时,它给出了一个错误。谁能帮帮我? 我正在使用 R 版本 3.2.0 和 Spark 1.3.1

> library(SparkR)
> sc1 <- sparkR.init(master="local")
Launching java with command  /usr/lib/jvm/java-7-oracle/bin/java   -Xmx1g -cp '/home/himaanshu/R/x86_64-pc-linux-gnu-library/3.2/SparkR/sparkr-assembly-0.1.jar:' edu.berkeley.cs.amplab.sparkr.SparkRBackend /tmp/Rtmp0tAX4W/backend_port614e1c1c38f6 
15/07/09 18:05:51 WARN Utils: Your hostname, himaanshu-Inspiron-5520 resolves to a loopback address: 127.0.0.1; using 172.17.42.1 instead (on interface docker0)
15/07/09 18:05:51 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
15/07/09 18:05:52 INFO Slf4jLogger: Slf4jLogger started
15/07/09 18:05:54 WARN SparkContext: Using SPARK_MEM to set amount of memory to use per executor process is deprecated, please use spark.executor.memory instead.
> sqlContext <- sparkRSQL.init(sc1)
Error: could not find function "sparkRSQL.init"
````

【问题讨论】:

  • 请尝试 Spark 1.4.0
  • 我知道,但我想这也会导致错误。你确定它应该工作吗?
  • 好吧,sparkR 在 1.4.0 中正式成为 Spark 的一部分,所以我想这是一个不错的选择。
  • 我在使用 Spark 1.4 时遇到了同样的错误,还有什么我应该尝试的吗?
  • 我尝试通过终端使用 sparkR。当我通过终端使用该 sqlcontext init 命令时出现此错误 - 错误:'sparkRSQL.init' 不是来自 'namespace:SparkR' 的导出对象跨度>

标签: r apache-spark sparkr


【解决方案1】:

您的 SparkR 版本错误。 sparkr-assembly-0.1.jar 尚未包含 sparkRSQL.init。

【讨论】:

  • 您能否分享我可以安装所需版本的 SpARKR 的链接
猜你喜欢
  • 2015-10-20
  • 1970-01-01
  • 1970-01-01
  • 2017-12-17
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2016-09-09
  • 1970-01-01
相关资源
最近更新 更多