【问题标题】:package cell always destroyed after cluster restart in azure databricks notebook在 azure databricks notebook 中重新启动集群后,包单元总是被破坏
【发布时间】:2021-06-29 17:07:21
【问题描述】:

我的共享代码在一个包单元中,我正在将该包用于其他笔记本单元。但是每次集群重新启动时,该包单元都会被破坏,并且我正在使用该包的笔记本找不到它并抛出类似 error: object abc is not a member of package com import com.abc.utility.Shared 的错误。

单独笔记本中封装单元的代码类似于

package com.abc.utility
import com.databricks.dbutils_v1.DBUtilsHolder.dbutils

object Shared {
def outputFilesOperation(dbfsMountPoint : String) {
//stuff here
}

单独的笔记本,我使用上面的包

import com.abc.utility.Shared
Shared.outputFilesOperation(dbfsMountPoint = "/mnt/abc")

【问题讨论】:

    标签: databricks azure-databricks


    【解决方案1】:

    您需要将第一个笔记本包含到您正在使用该对象的笔记本中 - 您可以通过 %run 在单独的单元格中执行此操作:%run ./FirstNotebookName(请参阅 docs

    【讨论】:

    • 谢谢@Alex Ott 实际上我已经计划采用这种方法了...哦...我认为包单元会在集群启动时自动编译。
    • 没有。如果它们在笔记本中,那么它们应该以某种方式执行
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2021-10-12
    • 1970-01-01
    • 2013-12-19
    • 1970-01-01
    • 2022-01-22
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多