使用 Azure 数据工厂将文件从 REST API 下载到 Azure 数据湖

【问题标题】：Download a file from REST API to Azure data lake using Azure Data Factory使用 Azure 数据工厂将文件从 REST API 下载到 Azure 数据湖
【发布时间】：2021-07-11 11:11:50
【问题描述】：

我是 azure 数据工厂的新手，我按照在线教程学习了如何通过为这两个数据创建链接服务和数据集来以 csv 格式存储 json 响应。

但是如果响应是一个文件，比如我将该链接 (API) 放入 Web 浏览器，它将直接下载该文件，我如何下载响应的文件并将其存储到 Azure Data Lake gen2 中？我应该为接收器使用什么数据集格式？

谢谢

【问题讨论】：

标签： azure-data-factory rest azure-data-lake-gen2

【解决方案1】：

要使用 API 下载文件，我建议您使用 Azure 数据工厂链接服务中的 HTTP 连接器，如下所示。根据我的重现，我使用复制活动将 JSON 文件从 HTTP 请求复制到 Azure Data Lake Storage Gen2。

接收器的数据格式为“DelimitedText”，因为您的要求是将源 JSON 数据转换为 CSV。如果您只想存储确切的数据，请使用 JSON 数据格式。

接收器数据集详细信息：

这里是教程：https://www.cloudfronts.com/how-to-copy-data-from-rest-api-to-azure-data-lake-via-azure-data-factory/

应该很容易理解，但如果您有任何问题，请务必回复我并询问！

【讨论】：