在 Databricks 上找不到 config.yml

Question

我有一个 python 项目，它查询 SQL Server 数据库并在 SQL Server 中进行一些转换。该项目正在使用 config.yml，它具有所有与数据库相关的属性。

现在，我正在尝试将其托管在数据块上，以便可以将其作为笔记本运行。我已将所有 python 文件导入到 databricks 工作区。但是在执行主 .py 文件时出现以下错误

FileNotFoundError: [Errno 2] No such file or directory: 'config.yml' 

因为 Databricks 不允许我将 .yml 文件导入工作空间。我该怎么做才能运行这个 python 项目，以便它读取 .yml 文件并正确创建数据库连接。

谢谢！

Answer 1

您可以将 .yaml 文件放到 DBFS 中，并指向它。你可以做到different ways:

1. 使用dbutils.fs.put（见doc）
2. 在本地计算机上使用 Databricks CLI 的 databricks fs cp 命令 - 您需要在其上安装 databricks-cli python 包，并配置为使用个人访问令牌（如果它们在您的工作区中启用）（请参阅 doc）李>
3. 通过文件浏览器上传文件，或直接从笔记本的菜单上传文件（见doc）

由于您的代码适用于“本地”文件，因此您需要将文件的路径指定为 /dbfs/<file-path-on-dbfs - 在这种情况下，文件将由“普通”Python 的文件 API 读取。