如何在火花罐中使用 dbutils.secrets答案

【问题标题】：How to use dbutils.secrets in a spark jar如何在火花罐中使用 dbutils.secrets
【发布时间】：2019-02-07 09:01:03
【问题描述】：

所以我目前正在尝试为我的 Databricks 开发环境设置秘密。我已经使用 Databricks-cli 成功设置了这些。我现在正尝试在我的 spark jar 中使用这些（用 scala 编写）。然而，它需要在本地编译和在 ci/cd 管道中才能被实时推送。

但是我找不到dbutils 位于哪个包中。

... = dbutils.secrets.get(scope = "SCOPE", key = "VARIABLE")

这是我正在尝试实施的用例，希望能提供任何帮助！

【问题讨论】：

您可以尝试参考databricks dbutils package
@sgungormus 好吧，是的，我已经尝试过这样做。但是任何子包中的那个包中的任何内容都没有提示 dbutils.secrets 导入...intelliJ 也不会尝试为我自动完成它？

【解决方案1】：

你试过com.databricks.dbutils_v1.DBUtilsHolder.dbutils吗？我的 SBT 版本有一个 "com.databricks" %% "dbutils-api" % "0.0.3" 依赖项，它似乎引入了 dbutils。

【讨论】：

【解决方案2】：

在 Databricks 中，每个作业都从笔记本开始，当您的 jar 包含业务逻辑时，应将其定义为附加到集群的库。

启动笔记本通常使用dbutils 处理所有外部参数，然后调用业务逻辑代码，将密码、连接字符串等作为参数传递给函数。

要在本地运行代码，使用 Azure CLI 从 KeyVault 检索并分配给环境变量的密码作为每次运行前的准备步骤。

【讨论】：