【发布时间】：2017-12-11 17:51:31
【问题描述】：
我想从我的 Java 应用程序中将数据提取到 BigQuery。如果我们直接使用 BigQuery API，是否存在任何性能问题？应用程序正在 AWS 中运行。
【问题讨论】：
标签： java google-bigquery data-ingestion
【发布时间】：2017-12-11 17:51:31
【问题描述】：
如果关注性能，您可以使用带有 Java API [1,2] 的 BigQuery 流式插入。 [3] 概述了一些配额限制。
[1]https://cloud.google.com/bigquery/streaming-data-into-bigquery
[2]https://cloud.google.com/blog/big-data/2017/06/life-of-a-bigquery-streaming-insert
[3]https://cloud.google.com/bigquery/quotas#streaminginserts
【讨论】：
-
我的实际用例是，每当我们收到一条新消息时，我们正在运行一个电子邮件应用程序，我们正在处理它以获取一些数据并存储到 BQ。如果我们每次收到消息都调用insertAll api，这意味着我们每次收到新消息都需要调用insertAll，这样调用insertAll可以吗？