如何将对象从 azure 数据工厂查找传递到 databricks 笔记本？答案

【问题标题】：How to pass an object from an azure data factory lookup to a databricks notebook?如何将对象从 azure 数据工厂查找传递到 databricks 笔记本？
【发布时间】：2022-08-19 02:59:31
【问题描述】：

使用 ADF 中的查找活动来获取我想要输出到 Databricks 笔记本的表列表，该笔记本将用于运行代码。

For循环对象动态内容@activity(\'Lookup IngestionControl\').output.value
我得到的错误是 The value type in key \'TABLENAME\' is not expected type \'System.String\'

尝试的解决方案：@String(activity(\'Lookup IngestionControl\').output.value)

Warning: Expression of type: \'String\' does not match the field: \'items\'
运行时出现警告并收到错误，因为对象是数组类型，无法转换为字符串

标签： azure azure-data-factory azure-databricks

【解决方案1】：

您只能将字符串传递到 databricks API。 ADF 在调用笔记本/jar 时使用 databricks 作业 API。

https://docs.databricks.com/dev-tools/api/latest/jobs.html

我通常做的是将数组转换为 json 字符串。可以在 SQL 或 ADF 中执行此操作并不重要。根据您尝试做的事情会改变我的做法。

@activity('Lookup IngestionControl').output.value 告诉我它是一个查找活动。我只需从 sql 创建 json 并将其通过 ADF 传递到您的笔记本中。

【讨论】：