使用 Pub/Sub 和 Cloud Functions 将数据从网站发送到 BigQuery

Question

这就是我想要完成的事情

1. 访问者登陆我的网站
2. Javascript 收集一些信息并发送命中
3. 处理命中并将其插入 BigQuery

这就是我计划的解决方法

1. 命中发送到 Cloud Functions HTTP 触发器（使用 Ajax）
2. Cloud Functions 向 Pub/Sub 发送消息
3. Pub/Sub 使用 Pub/Sub 触发器将数据发送到另一个 Cloud Function
4. 第二个 Cloud Function 将命中处理到 Biguery 行并将其插入 BigQuery

有没有更简单的方法来解决这个问题？

需要考虑的其他一些细节

• 每天大约有 100 万次点击
• 不想使用 Cloud Dataflow，因为它会增加成本
• 不能（可能）跳过 Pub/Sub，因为当有人离开网站时会发送一些点击，并且请求可能没有足够的时间来处理所有内容。

Answer 1

您可以执行 Big Query 流式传输，这个更便宜并且您避免达到加载作业配额1000 per table per day。

另一种选择是，如果您不介意加载数据需要花费大量时间，您可以将所有信息存储在 Cloud Storage 存储桶中，然后使用 transfer 加载所有数据。您可以对其进行编程，以便每天上传数据。该解决方案专注于批处理环境，您将在其中将所有信息存储在一侧，然后将其传输到最终目的地。如果您只想流式传输您提到的解决方案是可以的。

您可以选择更适合您的特定用途的选项。