在 sagemaker sparkmagic pyspark notebook 中安装 python 包答案

【问题标题】：installing python package in sagemaker sparkmagic pyspark notebook在 sagemaker sparkmagic pyspark notebook 中安装 python 包
【发布时间】：2020-01-22 13:46:44
【问题描述】：

我想在正在运行的内核中安装新库（不是引导）。我能够创建一个连接到 EMR 集群的 sagemaker 笔记本，但是安装包是一件令人头疼的事情。无法在笔记本上安装软件包。我尝试了几种方法，例如通过 jupyterLab 中的终端安装软件包。

$ conda install numba

在 conda_pytorch_p36 笔记本上的安装似乎工作正常，但在 SparkMagic (pyspark) 笔记本上没有安装软件包。

错误代码：

An error was encountered:
No module named numba
Traceback (most recent call last):
ImportError: No module named numba

jupyter 魔法命令也不仅仅在 pyspark notebook 中有效

!pip install keras

错误：

An error was encountered:
invalid syntax (<stdin>, line 1)
  File "<stdin>", line 1
    !pip install keras
    ^
SyntaxError: invalid syntax

根据github 帖子中的回答，这也不起作用

from subprocess import call
call("pip install dm-sonnet".split(" "))

【问题讨论】：

你能不能通过类似命令 sc.install_pypi_package("keras") [1] docs.aws.amazon.com/emr/latest/ManagementGuide/…来检查 try [1]
conda 命令也有错字，你能再检查一下吗？康达安装numpy

标签： pyspark amazon-emr amazon-sagemaker

【解决方案1】：

当您通过 JupyterLab 中的终端运行 $ conda install numba 时，它实际上是在您的本地环境中成功安装。问题是，当您使用 Sparkmagic 作为内核时，单元中的代码始终在 spark 集群上运行，而不是在本地笔记本环境中运行。要在本地运行单元格的内容，您应该在单元格的开头写 %%local。之后，该单元中的所有内容都将在本地运行，并且已安装的模块将可用。否则，您应该在远程 spark 集群上安装模块。在这里阅读更多： https://github.com/jupyter-incubator/sparkmagic/blob/master/examples/Pyspark%20Kernel.ipynb

【讨论】：