【发布时间】：2023-01-30 16:33:07
【问题描述】：
我将提供一些上下文：我的管道向 REST API（身份验证类型：OAuth2 客户端凭据）发出 GET 请求，以便以镶木地板文件格式将数据导入数据湖 (ADLSGen2)。稍后，存储过程创建一个视图，其中包括预定义目录中的每个文件。
我期待每小时（或可能每 30 分钟）向 API 请求数据，以便获取前一小时的信息。问题是：作为响应，每小时带来近 3600 万条记录。
在响应的正文中，没有提到页数或总页数。只有数据（键和值）。
另一方面，标题包括“第一页”和“下一页”（仅当响应中有更多页面时才会出现，但也没有提及总页数）。
我想知道是否有任何有用的建议可以使我的复制数据活动以不同的方式工作。现在，由于我上面提到的，分页规则设置为 RFC5988。我希望以某种方式对我请求的数据进行分区。
另外，我想知道是否有另一种方法来解决这个问题（例如，使用其他活动）。
谢谢！
马特奥
【问题讨论】：
-
嗨 @Mateo Estrada，你能提供管道图像、错误消息和 API 语法吗？
标签： azure azure-data-factory azure-synapse