【问题标题】:Cannot access pyspark in EMR cluster jupyter notebook无法访问 EMR 集群 jupyter notebook 中的 pyspark
【发布时间】:2019-12-16 21:41:59
【问题描述】:

我在 EMR 上创建了一个 spark 集群。 但是当我用笔记本打开它时,我无法访问 pyspark。

配置:

示例:

from pyspark import SparkContext

我也无法访问 sc,我之前的印象是可用。

sc.list_packages()

NameError: 名称 'sc' 未定义

我觉得我在这里遗漏了一些非常基本的东西,但我对 EMR 完全陌生,并且已经花了很多时间。

我有什么想法可以尝试调试吗?

【问题讨论】:

  • 我看不到你的图片,但我认为这应该回答你的问题:stackoverflow.com/a/48762187/5858851(除非你同意,否则不要投票关闭,因为我的 python 徽章会绑定)

标签: python amazon-web-services pyspark amazon-emr


【解决方案1】:

当我用“JupyterLab”而不是“Jupyter”打开我的笔记本时,所有库都可用。

【讨论】:

  • 为什么它应该有所作为?
猜你喜欢
  • 2018-12-14
  • 2021-11-23
  • 1970-01-01
  • 1970-01-01
  • 2020-10-31
  • 1970-01-01
  • 1970-01-01
  • 2016-05-24
  • 2019-11-25
相关资源
最近更新 更多