【发布时间】:2017-12-14 04:42:52
【问题描述】:
我是 spark / scala 的新手......我已经建立了一个完全分布式的集群 火花/斯卡拉和sbt。 当我测试并发出命令 pyspark 时,我收到以下 错误:
/home/hadoop/spark/bin/spark-class 75行 /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java - 没有这样的文件或 目录
我的 bashrc 包含:
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
hadoop-env.sh contains export JAVA_HOME=/usr/lib/jvm/java7-openjdk-amd64/jre/
conf/spark-env.sh contains JAVA_HOME=usr/lib/jvm/java7-openjdk-amd64/jre
spark-class contains
if [ -n "${JAVA_HOME"}]; then RUNNER="${JAVA_HOME}/bin/java" else if [ "$( command -v java ) " ] then RUNNER = "java"
有人可以帮助我需要改变什么以获得正确的 java 路径
【问题讨论】:
-
您是否让 spark 在没有集群的情况下在单个节点上工作?
-
不,这是第一次在完全分布式节点上设置
标签: apache-spark pyspark