未安装 slf4j 时启动预构建的 spark-master 时出错答案

【问题标题】：Error to start pre-built spark-master when slf4j is not installed未安装 slf4j 时启动预构建的 spark-master 时出错
【发布时间】：2015-12-09 10:52:31
【问题描述】：

我正在使用 ubuntu 来设置独立的 spark。但是在我使用预建的 spark 时它没有找到 slf4j 包。

./spark-1.4.1-bin-without-hadoop/sbin/start-master.sh

Spark Command: /usr/lib/jvm/java-7-oracle//bin/java -cp /root/spark-1.4.1-bin-without-hadoop/sbin/../conf/:/root/spark-1.4.1-bin-without-hadoop/lib/spark-assembly-1.4.1-hadoop2.2.0.jar -Xms512m -Xmx512m -XX:MaxPermSize=256m org.apache.spark.deploy.master.Master --ip localhost --port 7077 --webui-port 8080
========================================
Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger
        at java.lang.Class.getDeclaredMethods0(Native Method)
        at java.lang.Class.privateGetDeclaredMethods(Class.java:2615)
        at java.lang.Class.getMethod0(Class.java:2856)
        at java.lang.Class.getMethod(Class.java:1668)
        at sun.launcher.LauncherHelper.getMainMethod(LauncherHelper.java:494)
        at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:486)
Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger
        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
        ... 6 more

对不起，我不应该使用 spark-1.4.1-bin-without-hadoop，当我下载 spark-1.4.1-bin-hadoop2.6 时它可以工作。所以这可能是我使用的问题，而不是 Spark。

【问题讨论】：

标签： apache-spark

【解决方案1】：

按照Spark documentation 中的建议，可以使用 hadoop 类路径命令中的类路径来轻松修复：

export SPARK_DIST_CLASSPATH=$(hadoop classpath)

【讨论】：