Cloud Composer 中的速率受限 API 请求

Question

我正在计划一个项目，我将使用（速率受限的）Reddit API 并将数据存储在 GCS 和 BigQuery 中。最初，Cloud Functions 将是选择，但我必须创建一个 Datastore 实现来管理“伪”请求队列和 cron 作业的 GAE。

在 Dataflow 中做所有事情没有意义，因为它不建议发出外部请求（即点击 Reddit API）并永久运行单个作业。

我可以使用 Cloud Composer 从 Google 表格中读取字段，然后根据 Google 表格创建请求队列，然后让任务队列执行这些请求，将它们存储在 GCS 中并加载到 BigQuery 中吗？

Answer 1

听起来像是 Composer 的合法用例，此外，您还可以利用 Airflow 中的pool 概念来管理对同一端点的并发调用（例如 Reddit API）。