有没有办法在 Databricks 笔记本中参数化魔术命令？答案

【问题标题】：Is there a way to parameterize magic commands in Databricks notebooks?有没有办法在 Databricks 笔记本中参数化魔术命令？
【发布时间】：2021-08-19 16:11:06
【问题描述】：

我想使用能够运行配置文件列表并使用 %run 将配置文件中的变量导入数据块笔记本。但是我找不到在 %run 之后动态更改文件的方法。

我尝试过指定这样的参数：配置 = './config.py' %运行$配置但它不起作用。我无法使用 dbutils.notebook.run(config)，因为我无法访问主笔记本中的变量。

有什么办法可以做到这一点吗？

【问题讨论】：

标签： pyspark databricks

【解决方案1】：

既然你已经提到了配置文件，我会认为你在某些路径中已经有配置文件，而这些不是 Databricks 笔记本。

您可以在一个笔记本中使用 python - configparser 读取配置文件并在主笔记本中使用 %run 指定笔记本路径（或者您可以在主笔记本中使用 configparser 忽略笔记本本身）

参考：How to read a config file using python

【讨论】：

配置解析器可以解析.py文件吗？我不想将我的配置保存在 .py 文件中，因为那里有一些复杂的数据类型。通常这很容易，因为您只需 >import config 但您不能在 Databricks 中执行此操作，因此想要使用 %run。但我不想根据用例动态运行不同的 config.py 文件。我最好的解决方案是保持 >%run Config.py 静态并动态地将其他 .py 文件重命名为 ./config.py，这取决于我要使用哪个。