【问题标题】:BigQuery - BQ extract - Multiple empty file generationBigQuery - BQ 提取 - 多个空文件生成
【发布时间】:2022-03-05 16:29:29
【问题描述】:

我正在尝试使用 BQ 提取将数据从大查询表导出到命令行中的 zip 文件。它生成了多个空文件(带标题),以及一个具有正确数据的文件。有人可以告诉我,为什么会生成空文件。

谢谢

【问题讨论】:

  • 你能解释一下你的表是什么样子的吗?是否有可能该表是空的或选定的分区(如果你使用table$partition 表示法)是空的?
  • 您能与我们分享您的导出逻辑吗?
  • 这种行为可能是一个bug,请组织你的代码接受多个提取的文件,每个文件中可以有任意数量的记录(空是记录数为零的情况)。跨度>

标签: google-bigquery google-cloud-storage


【解决方案1】:

这是一个 BigQuery 问题 already reported。我建议starring the issue 并要求更新。

【讨论】:

    【解决方案2】:

    我在使用 EXPORT DATA 时遇到了同样的空文件问题。

    在做了一些研发之后找到了解决方案。将LIMIT xxx 放入您的SELECT SQL 中即可。

    您可以找到计数,并将其作为LIMIT 值。

    SELECT ....
    
    FROM ...
    
    WHERE ...
    
    LIMIT xxx
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2020-03-14
      • 2016-01-30
      • 2017-02-18
      • 1970-01-01
      • 1970-01-01
      • 2015-12-29
      • 1970-01-01
      相关资源
      最近更新 更多