【发布时间】:2015-07-15 11:42:27
【问题描述】:
我已经安装了 sparkR 包,并且可以运行其他计算作业,例如文档中的 pi 计数或字数计数。但是当我尝试启动 sparkRSql 作业时,它给出了一个错误。谁能帮帮我? 我正在使用 R 版本 3.2.0 和 Spark 1.3.1
> library(SparkR)
> sc1 <- sparkR.init(master="local")
Launching java with command /usr/lib/jvm/java-7-oracle/bin/java -Xmx1g -cp '/home/himaanshu/R/x86_64-pc-linux-gnu-library/3.2/SparkR/sparkr-assembly-0.1.jar:' edu.berkeley.cs.amplab.sparkr.SparkRBackend /tmp/Rtmp0tAX4W/backend_port614e1c1c38f6
15/07/09 18:05:51 WARN Utils: Your hostname, himaanshu-Inspiron-5520 resolves to a loopback address: 127.0.0.1; using 172.17.42.1 instead (on interface docker0)
15/07/09 18:05:51 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
15/07/09 18:05:52 INFO Slf4jLogger: Slf4jLogger started
15/07/09 18:05:54 WARN SparkContext: Using SPARK_MEM to set amount of memory to use per executor process is deprecated, please use spark.executor.memory instead.
> sqlContext <- sparkRSQL.init(sc1)
Error: could not find function "sparkRSQL.init"
````
【问题讨论】:
-
请尝试 Spark 1.4.0
-
我知道,但我想这也会导致错误。你确定它应该工作吗?
-
好吧,sparkR 在 1.4.0 中正式成为 Spark 的一部分,所以我想这是一个不错的选择。
-
我在使用 Spark 1.4 时遇到了同样的错误,还有什么我应该尝试的吗?
-
我尝试通过终端使用 sparkR。当我通过终端使用该 sqlcontext init 命令时出现此错误 - 错误:'sparkRSQL.init' 不是来自 'namespace:SparkR' 的导出对象跨度>
标签: r apache-spark sparkr