为什么我会看到多个 spark 安装目录？

Question

我正在使用安装了 spark 的 ubuntu 服务器。

我没有对该服务器的 sudo 访问权限。

所以在我的目录下，我创建了一个新的virtual environment，并在其中安装了pyspark

当我输入以下命令时

whereis spark-shell   #see below


/opt/spark-2.4.4-bin-hadoop2.7/bin/spark-shell2.cmd /opt/spark-2.4.4-bin-hadoop2.7/bin/spark-shell.cmd /opt/spark-2.4.4-bin-hadoop2.7/bin/spark-shell /home/abcd/.pyenv/shims/spark-shell2.cmd /home/abcd/.pyenv/shims/spark-shell.cmd /home/abcd/.pyenv/shims/spark-shell

另一个命令

echo 'sc.getConf.get("spark.home")' | spark-shell

scala> sc.getConf.get("spark.home")
res0: String = /home/abcd/.pyenv/versions/bio/lib/python3.7/site-packages/pyspark

q1) 我是否使用正确的命令找到了spark的安装目录？

q2) 可以帮助我理解为什么我会看到 3 opt paths 和 3 pyenv paths

Answer 1

spark 安装（如您在/opt/spark-2.4.4-bin-hadoop2.7 中的那个）通常附带一个 pyspark 安装。您可以通过下载并解压缩此 tarball (https://www.apache.org/dyn/closer.lua/spark/spark-2.4.6/spark-2.4.6-bin-hadoop2.7.tgz) 来检查这一点。

如果您在虚拟环境中安装 pyspark，您将安装另一个 pyspark 实例，该实例没有 Scala 源代码，但带有已编译的 spark 代码作为 jars（请参阅 pyspark 安装中的 jars 文件夹)。 pyspark 是 spark 的包装器（用 Scala 编写）。这可能就是您在/home/abcd/.pyenv/shims/ 中看到的内容。

同一目录下的脚本spark-shell2.cmd 和spark-shell.cmd 是同一个spark 安装的一部分。这些是文本文件，您可以cat 他们。您将看到spark-shell.cmd 在其中调用spark-shell2.cmd。您的/opt/spark-2.4.4-bin-hadoop2.7/bin/ 文件夹中可能会有更多脚本，所有这些都是同一个 spark 安装的一部分。文件夹/home/abcd/.pyenv/shims/ 也是如此。最后，/home/abcd/.pyenv/versions/bio/lib/python3.7/site-packages/pyspark 似乎又是一个 pyspark 安装。

您使用哪个pyspark 安装并不重要。为了使用 spark，需要创建一个运行 Scala/Java 代码的 java 进程（来自安装中的 jars）。

通常，当您运行这样的命令时

# Python code
spark = SparkSession.builder.appName('myappname').getOrCreate() 

然后创建一个运行 spark 的新 java 进程。

如果您运行脚本/opt/spark-2.4.4-bin-hadoop2.7/bin/pyspark，那么您还将创建一个新的 java 进程。

您可以使用以下内容检查是否确实存在这样的 java 进程：ps aux | grep "java"。