如何从运行 PySpark 内核的 EMR jupyter notebook 中的另一个 ipynb 文件导入？

Question

我在 AWS EMR 上使用 jupyter notebook 运行 PySpark，但在从另一个文件导入模块时遇到问题。我尝试了几种在 stackoverflow 上搜索的方法，但都没有奏效。更具体地说，我尝试了以下方法（这里我在与运行导入语句的笔记本相同的目录中有一个名为“include.ipynb”的笔记本）：

这两种方法都适用于我本地计算机上的 jupyter notebook。他们为什么不在 AWS 上工作？

Answer 1

您必须使用 Pip 或 conda 在您的 EMR 中显式安装这些软件包。您的本地已经安装了这些软件包。