【问题标题】:Azure Data Factory Web Activity save outputAzure 数据工厂 Web 活动保存输出
【发布时间】:2021-01-25 10:24:40
【问题描述】:

有没有办法将 Azure 数据工厂 Web 活动的输出保存到数据集中?

这是我当前的用例:

  1. 我必须动态构建 JSON 发布请求
  2. 我尝试访问的 API 需要 SSL 证书,因此我必须使用 Web Activity 身份验证客户端证书选项。
  3. API 还需要基本身份验证,因此我在 Web Activity 的标题部分输入 Content -Type 和授权 guid。
  4. 从我的发布请求中获得 JSON 响应后,我需要将响应保存到某个位置的 blob 存储中。

我尝试使用复制数据集 HTTPS 或 Rest API 作为数据集源,但两者都只允许一种类型的身份验证证书或基本身份验证。

有没有一种方法可以配置 Rest API 或 HTTPS 数据集源来处理两种类型的身份验证(SSL 和基本授权)或将所有 Web Activity 输出捕获到 blob 存储中?

感谢大家的帮助!我现在很绝望lol..

这是我的网络活动的样子(抱歉,出于安全目的,我隐藏了部分凭据:

【问题讨论】:

    标签: azure azure-web-app-service azure-data-factory-2 azure-blob-storage azure-data-factory-pipeline


    【解决方案1】:

    请在您的 Coput Activity 中使用 Http 数据集。

    当我们创建Http数据集的链接服务时,选择客户端证书选项和嵌入数据,然后我们需要上传SSL证书。

    官方文档是here

    【讨论】:

    • 您好约瑟夫,感谢您的详细回答。我尝试了您的示例,唯一的问题是之后我可以将 JSON 展平吗?我之前应该把它放在我的用例中。一旦我将数据存储在某个地方,之后我需要以 csv 格式将 JSON 展平。复制活动使我将 JSON 输出转换为字符串。然后添加反斜杠。当我到达数据流片段以展平字段时,文件需要定义其 json 数组。
    • Copy JSON into Blob Storage 好像有些问题。我们可以考虑将它复制到本地或Azure SQL Server。你可以看到我的另一个答案here。但是数据流中不支持本地SQL Server作为数据源。
    • 不幸的是,返回的数据太大了,我们需要在某个地方存储到 blob 存储中。您知道在 REST 源或 HTTPS 中输入 SSL 证书和基本身份验证的方法吗?如果有办法这样做可能会使将 json 放入 blob 存储更容易。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-04-24
    • 2019-08-20
    • 2020-06-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多