使用 Azure 数据工厂从 HubSpot REST api 获取数据 - 所有联系人（分页）答案

【问题标题】：Getting Data from HubSpot REST api with Azure Data Factory - all contacts (Pagination)使用 Azure 数据工厂从 HubSpot REST api 获取数据 - 所有联系人（分页）
【发布时间】：2019-12-07 01:48:58
【问题描述】：

我正在尝试从 Hubspot 获取所有联系人，但 hubspot 每次呼叫的联系人限制为 100 个，因此我需要在数据工厂中设置分页以获取所有 25,000 个联系人

这是我用来获取部分联系人https://api.hubapi.com/contacts/v1/lists/all/contacts/all?hapikey=[mykey]&vidOffset=1的GET url

如何设置数据工厂以检索所有联系人？

【问题讨论】：

标签： pagination azure-data-factory-2

【解决方案1】：

我认为根据文档https://developers.hubspot.com/docs/methods/contacts/get_contacts 他们使用 &vidOffset=X 导航到下一页。我认为我们可以将该值用于分页。下面的文章可能会有所帮助。 https://docs.microsoft.com/en-us/azure/data-factory/connector-rest

【讨论】：

感谢您的回答。但是我使用 vidOffset 进行分页，它只是保持循环，因为当它到达最后一页时，vidOffset 再次变为 0 而不是 null。我不知道如何设置，所以当 'has-more=false' 停止导入。
我们可以使用动态表达式来检查 vidOffset = 0 然后将其设置为 null ，但我认为我们可能有数据类型的问题。 'has-more=false' 的设置对你有用吗？
您好，我不知道如何将“has-more”集成到 Azure 数据工厂的分页设置中。

【解决方案2】：

我在 Hubspot 也遇到过类似的情况，但我是在公司工作，而不是在联系人中。如果您创建一个递归函数或将函数放入一个while循环中，同时每次返回 vidOffset 并在下一次函数调用中使用该值，那么您应该很好。

在您的情况下（天蓝色数据工厂），请尝试添加“直到”活动。 https://docs.microsoft.com/en-us/azure/data-factory/control-flow-until-activity

希望这会有所帮助！

【讨论】：