【问题标题】:Databricks error when trying to load a module using apache spark [duplicate]尝试使用 apache spark 加载模块时出现 Databricks 错误 [重复]
【发布时间】:2020-01-09 13:59:08
【问题描述】:

我在 Databricks 中使用笔记本。如果有帮助,则使用 python 3 设置笔记本。一切正常,我可以从 Azure 存储中提取数据。但是当我运行时:

import org.apache.spark.sql.types.StructType

我收到错误消息

ImportError: No module named 'org'

有谁知道我将如何解决这个问题?这与笔记本在 python 中有关吗?

我今天才刚刚开始使用 Databricks,如果这是一个愚蠢的问题,我深表歉意 - 我在网上找不到任何有用的东西。

我确实尝试过运行import org.py.spark.sql.types.StructType,但这也不起作用。

谢谢

【问题讨论】:

  • 这确实有效,谢谢。我现在有一条不同的错误消息,虽然它说'NameError:名称'列表'未定义'。有什么想法吗?
  • 相同的基本想法 - 谷歌它:)

标签: python azure apache-spark databricks


【解决方案1】:

问题是您试图在 Python 笔记本中导入 scala 库。您需要更改为使用 Scala 笔记本,或使用 Pyspark 等价物。

喜欢:

from pyspark.sql.types import *

【讨论】:

    猜你喜欢
    • 2020-04-30
    • 2018-03-05
    • 2012-03-09
    • 2017-06-12
    • 2013-02-23
    • 2021-03-16
    • 2016-03-22
    • 1970-01-01
    • 2020-10-01
    相关资源
    最近更新 更多