Google Bigquery 插入流式传输

Question

我正在浏览其官方网站上提供的 Google 的 Bigquery 文档。 我对谷歌的插入流配额政策有点困惑。 Here 网页上提到了以下几点。

1]Maximum row size: 1 MB 
2]HTTP request size limit: 10 MB
3]Maximum rows per second: 100,000 rows per second, per table. Exceeding this amount will cause quota_exceeded errors.
4]Maximum rows per request: 500
5]Maximum bytes per second: 100 MB per second, per table. Exceeding this amount will cause quota_exceeded errors.

我对第 3 点和第 4 点的理解感到困惑。 我们可以使用 new TableDataInsertAllRequest().setRows(rowList); 设置数据 rowList.size() 最多为 100,000。对于插入，我们可以使用 table().insertAll().execute()。

但我仍然对第 3 点和第 4 点感到困惑。 任何人都可以详细解释这一点吗？ 提前致谢。

Answer 1

假设您使用大量并行工作器来发送流式插入，例如同时发送数千台服务器。

如果您对机器正在流式传输的所有这些行求和，则可能会导致每秒超过 100k 行。每台服务器单独流式传输最多 500 个，但一个大型集群一起可以每秒流式传输超过 100k。如果达到该上限，您可能需要联系支持人员以提高您的限制。

因此，您需要了解一个有效负载必须很小且适合 500 行。如果要流式传输更多，则需要并行进行流式传输。要实现这一点，最好有一个像 Beanstalkd 这样的消息队列系统，您可以使用 beanstalkd admin console 监视您的工作。