Google Bigquery 加载具有本地文件大小限制的数据答案

【问题标题】：Google Bigquery load data with local file size limitGoogle Bigquery 加载具有本地文件大小限制的数据
【发布时间】：2018-10-13 16:55:57
【问题描述】：

使用 API 的本地文件对 Google Bigquery 加载数据有任何限制吗？

正如 Google Bigquery 文档中提到的有关 Web UI 的内容，本地文件大小小于

【问题讨论】：

标签： java google-bigquery

【解决方案1】：

没有用于加载本地文件的 BigQuery API。通过 bq 命令或 Web UI 加载本地文件——我相信当你这样做时会发生什么——它只是代表你将文件上传到 GCS，之后只是从 GCS 执行正常的 API 加载工作——你可以在 UI 中清楚地看到它。但是因为 Google 希望通过 WebUI/bq 命令获得合理的用户体验 - 此处对上传“本地”文件有更严格的限制。

我建议使用 GCS 路径加载大文件 (https://cloud.google.com/bigquery/docs/loading-data-cloud-storage) 重要的是 - 它是免费的（与流式传输相比，您需要为流式传输数据付费）

    Limits are following (from https://cloud.google.com/bigquery/quotas)
    Load jobs per table per day — 1,000 (including failures)
    Maximum columns per table — 10,000
    Maximum size per load job — 15 TB across all input files for CSV, JSON, and Avro
    Maximum number of files per load job — 10 Million total files including all files matching all wildcard URIs
    For CSV and JSON - 4 GB compressed file, 5TB uncompressed

【讨论】：

cloud.google.com/bigquery/docs/loading-data-local我说的是这个方面。
我会检查的

【解决方案2】：

本地文件上传没有特殊限制，10MB 和 16000 行仅适用于 UI。但我不建议上传巨大的本地文件。

【讨论】：

有什么强有力的理由吗？或者我们可以选择流选项。（我正在寻找其中任何一个）。或者我们可以使用 Google Cloud Storage 选项。
没有用于加载本地文件的 BigQuery API，并且您问“API 是否会应用同样的限制？”。通过 bq 命令或 Web UI 加载本地文件 - 相信当你这样做时会发生什么 - 它只是代表你将文件上传到 GCS，之后只是从 GCS 执行正常的 API 加载工作 - 你可以在 UI 中清楚地看到它。因此，这意味着适用于此处的 BQ Load API 存在的所有限制。
使用加载作业流式传输和加载数据各有利弊，因此这完全取决于您的用例。加载巨大的本地文件会很慢。
实际上，在我的情况下，某些情况下的数据加载量很大，而某些情况下每天和每周的数据加载量较少。我不清楚何时使用 GCS、Local、Stream。我阅读了文档，但没有弄清楚。如果可能的话，你可以帮助我。