在没有云存储的情况下将大型 csv 直接加载到 Bigquery 中？

Question

我正在考虑从远程服务器将 CSV 加载到 Big Query 中，即使经过压缩，它们也会大于 10MB。我的理解是，要将远程文件直接加载到 Big Query 中，这在技术上将遵循在数据所在的远程服务器上的脚本中实现的“从本地文件加载数据”的过程。

根据大查询文档，这限制为 10MB/文件。我是否需要将文件加载到 GCS 中，然后使用 BQ 数据传输服务来执行此任务？将巨大的 CSV 分解成一堆 10MB 的 CSV 是一个实用的选择吗？这需要可扩展。

Answer 1

正确的方法是将文件上传到 Cloud Storage，然后从 GCS（不是传输服务）执行load job。

加载作业功能强大。速度非常快，可以在同一张表中同时导入一个多个文件！

这无疑是实现可扩展性的最佳方式。