如何使用 Azure Synapse Analytics 管道从 Airtable 表中导入所有记录，而不仅仅是检索前 100 条记录？答案

【问题标题】：How can I import all records from an Airtable table using an Azure Synapse Analytics pipeline rather than just retrieving the first 100?如何使用 Azure Synapse Analytics 管道从 Airtable 表中导入所有记录，而不仅仅是检索前 100 条记录？
【发布时间】：2022-07-13 03:37:39
【问题描述】：

在 Azure Synapse 管道中使用 REST 集成并提供正确的授权 (api_key) 时，我只会将 100 条记录加载到我的 Azure Synapse 数据接收器中。如何确保导入所有记录？

【问题讨论】：

标签： pagination analytics azure-synapse synapse airtable

【解决方案1】：

Airtable 的 JSON 响应中出现了分页偏移。在 Synapse 中复制数据步骤的 Source 选项卡上，在 Pagination rules 下，选择 QueryParameter，在 QueryParameter 旁边的字段中输入“offset”（无引号），然后在价值。就是这样 - 不需要相对 URL 或参数配置。分页规则告诉 synapse 在响应中查找数据元素“偏移量”并继续获取更多数据，直到响应不再包含 JSON 中的该数据元素。请参阅下面的屏幕截图。第二个屏幕截图显示了授权配置。

Airtable API 的授权配置如下所示 - 这会导致 Synapse 将 HTTP 标头和值“Authorization: Bearer”包含到 Airtable API。只需将替换为您的 Airtable api 密钥，该密钥可以在您在 Airtable 的帐户设置下找到和/或创建。

【讨论】：