用于生产的 Spark 安装，pip 安装与否？

【问题标题】：Spark installation for production, pip install or not?用于生产的 Spark 安装，pip 安装与否？
【发布时间】：2020-01-29 03:09:55
【问题描述】：

我想安装 Pyspark 2.4.4。我已经看到我可以下载 Spark 包或使用 pip install。我只需要 Pyspark，两种安装方式都一样吗？

【问题讨论】：

【解决方案1】：

您可以使用python pip install pyspark，但它没有附带 Spark 正常运行所必需的 Hadoop 二进制文件。

最简单的安装方法是使用python findspark

从 spark website 下载 .tgz 文件，它带有 Hadoop 二进制文件

pip install findspark

在 Python 中：

import findspark

finspark.init('\path\to\extracted\binaries\folder')

import pyspark

【讨论】：