如何向我的所有 appengine 实例发送请求

Question

我收到大量跨实例和 Servlet 线程的 HTTP 遥测请求，但数量不定。我想以 500 条记录的块向 BigQuery 插入所有数据以最大限度地减少请求，因此我将请求中的数据缓存在并发队列中，并在队列达到 500 时发送数据。我还使用 PushQueues 写入 BigQuery，以便客户端请求不承担这个时间。

我成功使用了 ArrayBlockingQueue，但有一个例外：我找不到刷新队列的方法。场景是请求流量停止。我设置了一个 cron.xml 以每 10 分钟左右发送一条刷新消息以获取最后的消息，但当然 cron 请求仅由一个实例处理，所以如果我有 10 个实例，我可能有 9 x 499记录卡住了。我真的需要一种方法来将此消息传递给所有实例。

我也尝试使用 MemCache，但共享队列所需的互斥标志意味着这将无法扩展。

我也尝试过 Datastore，但这有点愚蠢。非常慢，非常昂贵。

我选择了 appengine，因此它可以在不同负载期间自动扩展，从而节省成本和管理，但我真的找不到解决这个问题的方法。

Answer 1

我只会将您的数据推送到拉取队列中，然后通过 cron 作业将其导出到 BigQuery。作为一个细微的变化，您可以使用 cron 将 4 个 Push Queue 任务排入队列，间隔 15 秒，以获得更好的控制。您可能会发现 this article/video 相关。

拉式队列在聚合大量更新方面对我们来说非常有效，但如果您以“非常”高的速率将任务添加到队列中，您可能希望对队列进行分片。 This article 解释了原因。我们目前正在这样做，效果很好。