Databricks - 将文件推送到 GIT答案

【问题标题】：Databricks - push file to GITDatabricks - 将文件推送到 GIT
【发布时间】：2021-10-29 11:53:34
【问题描述】：

有什么办法：

使用 (Azure) Databricks 笔记本（以编程方式）？

我尝试了 Databricks Repos，但它仅适用于笔记本并且只能通过 UI 和 git clone 在笔记本中不起作用。

【问题讨论】：

【解决方案1】：

我知道 databricks 存储库在您可以执行的 git 命令方面非常有限（以我的拙见应该改进）。

无论如何，默认情况下，databricks 仅“识别”您存储库中的笔记本文件。您也可以允许 repos 检测其他文件。在Settings -> Admin console 下启用选项Files in Repos。我认为您需要管理员权限才能更改此设置。

【讨论】：

【解决方案2】：

我所做的是：

将文件从所需位置 (ADLS) 复制到某个临时文件夹（例如 FileStore）（使用 shell 或 dbutils）
使用 shell 在笔记本中进行 git 克隆。使用 Azure DevOps 中的个人访问令牌进行克隆。文件被克隆到驱动程序节点，因此它们在任何地方（在 UI 中）都不可见或可访问。
将想要的文件复制到克隆的 repo 文件夹中
推回 git（你必须提前使用 git config 设置用户名和电子邮件）

【讨论】：