【问题标题】:Executing Batch service in Azure Data factory using python script使用 python 脚本在 Azure 数据工厂中执行批处理服务
【发布时间】:2021-12-30 04:06:29
【问题描述】:

您好,我一直在尝试在 ADF 中执行自定义活动,该活动在对数据集进行进一步转换后从容器 (A) 接收 csv 文件,将转换后的 DF 存储到同一容器 (A) 中的另一个 csv 文件中。 我已经在 python 中编写了转换逻辑并将其存储在同一个容器 (A) 中。 此处出现错误,当我执行管道时,它返回错误 *找不到指定的文件 * 连接没有问题,批处理帐户或池有什么问题!! 谁能告诉我在哪里放置 python 脚本..!!!

【问题讨论】:

  • 你能分享一下确切的错误截图吗?您正在读取文件,进行一些转换并再次保存文件?您在脚本中提到的文件名可能在转换后已更改。如果可能,也分享代码部分。
  • 我建议您将 Databricks 用于 Python 代码。您可以轻松地从数据工厂调用 databricks python 脚本来执行您的突变。在 Databricks 中,您可以挂载数据湖/存储帐户,以便轻松访问 csv 文件。
  • 错误代码:2500 {"errorCategory":0,"code":"CommandProgramNotFound","message":"找不到指定的命令程序","details":[{"Name" :"Message","Value":"系统找不到指定的文件。"} 代码附在下面的链接中,由于超出字符限制,无法输入代码docs.microsoft.com/en-us/azure/batch/…
  • 请提供足够的代码,以便其他人更好地理解或重现问题。

标签: azure-data-factory custom-activity


【解决方案1】:

安装 azure batch explorer 并确保为虚拟机 (dsvm-windows) 选择正确的配置,这将确保 python 已经在运行代码的虚拟机中到位。

此视频解释了这些步骤

https://youtu.be/_3_eiHX3RKE

【讨论】:

    猜你喜欢
    • 2019-02-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-09-04
    • 2021-09-10
    • 2018-02-01
    • 1970-01-01
    相关资源
    最近更新 更多