使用 api 将数据加载到 BigQuery答案

【问题标题】：Loading data into BigQuery with api使用 api 将数据加载到 BigQuery
【发布时间】：2022-01-06 11:31:33
【问题描述】：

如何每天在规定的时间使用 CRM 的 API 将数据加载到 BigQuery 中？

我要构建非常复杂的系统：我需要从 Google Analytics、一些无连接器服务和 CRM 收集数据，唯一可能的交互方式是通过 API。

问题是可以每天使用 API 请求获取数据并将其添加到指定表的 and 中，例如在 Google 表格的 Apipheny 连接器中。

【问题讨论】：

【解决方案1】：

关于设置自动 Google Analytics 导出到 BigQuery 的一些信息，因为您首先提到了这一点：https://support.google.com/analytics/answer/3437618?hl=en

如果您想避免从头开始构建自己的工具，请查看数据传输服务 (DTS)。 DTS 的目的是自动启用托管传输，并且可能能够处理您在问题中提到的其他来源。

除了支持从其他 Google 服务转移之外，它还支持从各种来源进行第三方转移。查看https://cloud.google.com/bigquery-transfer/docs/third-party-transfer 了解更多信息。

【讨论】：

谢谢，但这并不是我所需要的。顺便说一句，经过一些阅读，如果我编写一个 Python 脚本来获取数据并将其推送到 GBQ，Google 是否提供服务来保存脚本并在指定时运行它？
有多种工具可以做到这一点。 Composer（管理气流）、workflows 和 scheduler 是我想到的一些，但如果它只是一个预定的脚本，composer 可能会矫枉过正。您可能希望与云功能或与托管脚本的位置类似的东西配对的调度程序。