如何在 Azure 数据工厂自定义活动中加载 python 库？

Question

我知道您可以使用带有预加载 python 库的自定义 VM 映像的批量自定义活动来通过 ADF 运行您的 python 程序。

我们还可以使用普通的 linux VM 映像并加载 python 库作为执行自定义活动的一部分吗？我知道这可能会增加执行时间，因为每次都必须安装库，但我想知道它是如何完成的。解释/示例表示赞赏。

谢谢！

Answer 1

您可以使用 Azure Batch start task 高效地安装预定义库。通过自定义活动针对同一池提交的所有作业都可以访问它们。

或者，您可以通过对 Linux 池节点执行 shell 脚本来安装依赖库，该脚本将设置库，然后触发 python 代码。