如何设置 mesos 以在独立 OS/X 上运行 spark答案

【问题标题】：How to set up mesos for running spark on standalone OS/X如何设置 mesos 以在独立 OS/X 上运行 spark
【发布时间】：2014-01-23 08:08:53
【问题描述】：

我想在 Mac 上测试 Spark 程序。 Spark 正在运行，我的 spark scala 程序编译：但运行时出现库 (mesos.so ?) 错误：

Exception in thread "main" java.lang.UnsatisfiedLinkError: no mesos in java.library.path
    at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1758)
    at java.lang.Runtime.loadLibrary0(Runtime.java:823)
    at java.lang.System.loadLibrary(System.java:1045)
    at org.apache.mesos.MesosNativeLibrary.load(MesosNativeLibrary.java:46)
    at spark.SparkContext.<init>(SparkContext.scala:170)
    at com.blazedb.scala.ccp.spark.LoadRDD$.main(LoadRDD.scala:14)

为了运行 spark 客户端程序，除了 spark 服务器本身之外，os/x 上还需要什么设置才能运行 spark 客户端程序？

【问题讨论】：

标签： macos scala apache-spark mesos

【解决方案1】：

如果你想在 Mesos 中使用 Spark，有 instructions on the project website，包括关于如何在 OS X 上找到 Mesos 库路径的注释。

如您所见，other deployment modes，包括local 模式，不需要安装 Mesos。

根据您的堆栈跟踪，您可能使用的是旧版本的 Spark。从 Spark 0.8.0+ 开始，这些包已移至 org.apache.spark 命名空间，因此如果您不想升级，可能需要使用 earlier versions of the docs。

【讨论】：

【解决方案2】：

您需要设置“MESOS_NATIVE_LIBRARY”环境变量，即 libmesos.so 的位置。它通常是 /usr/local/lib/libmesos.so。

# For Linux
$ export MESOS_NATIVE_LIBRARY='/usr/local/lib/libmesos.so'

# For OSX
$ export MESOS_NATIVE_LIBRARY='/usr/local/lib/libmesos.dylib'

我建议也将该行添加到您的 .bashrc 中，以避免每次都这样做。

【讨论】：

警告：MESOS_NATIVE_LIBRARY 已弃用，请改用 MESOS_NATIVE_JAVA_LIBRARY。未来版本将不支持通过 MESOS_NATIVE_LIBRARY 进行 JNI 绑定。

【解决方案3】：

如果您从源代码构建 mesos，那么所有生成的库都将在 [MESOS_HOME]/src/.libs 文件夹中生成。您必须删除空的 [MESOS_HOME]/.libs 文件夹并创建指向 [MESOS_HOME]/src/.libs 的符号链接

使用的命令有：

rm -r [MESOS_HOME]/src/.libs
ln -s [MESOS_HOME]/src/.libs [MESOS_HOME]/.libs

丢失了我的问题“g++: error: ./.libs/libmesos.so: No such file or directory”

【讨论】：