通过我的 Google 应用引擎应用程序将大型 excel 文件上传到 bigquery

Question

我想通过我的 Google 应用引擎应用程序将大型 excel 文件上传到 Bigquery。现在我上传数据并使用 POI 读取它，然后通过流插入将数据插入 Bigquery。如果我将它用于更大的 excel 文件，这是不可能的，这肯定需要超过 60 秒（DeadlineExceededexception）。请提出完成此任务的正确方法。

提前致谢

Answer 1

当您针对 appengine 请求点击 DeadlineExceededexception 时，通常表明您需要拆分该请求期间完成的工作。

如果我很好地理解了您的用例，您可以：

1) 分步拆分：上传、转换数据、插入 BigQuery。

2) 如果必须从客户端发送大量数据，请使用Blobstore Java API。

3) 将Task Queues 用于其他耗时的工作。请注意，他们还有一个截止日期，即 10 分钟。