SageMaker 笔记本连接到 EMR 导入自定义 Python 模块答案

【问题标题】：SageMaker notebook connected to EMR import custom Python moduleSageMaker 笔记本连接到 EMR 导入自定义 Python 模块
【发布时间】：2019-11-27 21:19:35
【问题描述】：

我查看了类似的问题，但没有一个能解决我的问题。我有一个 SageMaker 笔记本实例，打开了一个连接到 AWS EMR 集群的 SparkMagic Pyspark 笔记本。我有一个连接到此笔记本的 SageMaker 存储库，也称为 dsci-Python

目录如下：

/home/ec2-user/SageMaker/dsci-Python
/home/ec2-user/SageMaker/dsci-Python/pyspark_mle/datalake_data_object/SomeClass
/home/ec2-user/SageMaker/dsci-Python/Pyspark_playground.ipynb

pyspark_mle和datalake_data_object目录下都有__init__.py，其他环境导入也没问题

当我在 Pyspark_playground.ipynb 中运行此代码时：

from pyspark_mle.datalake_data_object.SomeClass.SomeClass import Something

我没有名为“pyspark_mle”的模块

我认为这是一个环境路径的事情。

【问题讨论】：

标签： python amazon-emr amazon-sagemaker

【解决方案1】：

存储库位于您的笔记本实例上，而 PySpark 内核正在 EMR 集群上执行代码。

要访问 EMR 集群上的这些本地模块，您可以克隆 EMR 集群上的存储库。

此外，SparkMagic 有一个有用的魔法send_to_spark，可用于将数据从 Notebook 本地发送到 Spark 内核。 https://github.com/jupyter-incubator/sparkmagic/blob/master/examples/Send%20local%20data%20to%20Spark.ipynb

【讨论】：