【问题标题】:Why does BigQuery load job statistics return query information?为什么 BigQuery 加载作业统计信息会返回查询信息?
【发布时间】:2016-06-11 22:41:17
【问题描述】:

我们有一些加载作业,它们从 GCS 中提取文件,并将它们加载到 BigQuery 中进行分析。我们使用 BigQuery Java API 中的 JobConfigurationLoad class 来实现这一点。

效果很好。

但是,我们注意到作业完成时返回的JobStatistics class 包含“查询”和“totalBytesBilled”信息。

如果这是一个加载作业,为什么它会返回查询信息?

【问题讨论】:

  • 它是作业统计的一部分,而不是查询统计的一部分。

标签: java google-bigquery


【解决方案1】:

您看到的是有关加载作业的错误报告详细信息。我们在内部发现了一个问题,因为 BigQuery 加载作业不应填充查询处理统计信息(我们正在利用查询执行树来协助一些加载作业)。

值得注意的是,尽管处理统计字段的填充方式与我们报告查询分析使用情况的方式相同,但这些加载作业并没有贡献任何查询分析成本。

【讨论】:

  • 谢谢。值得注意的是,我们如何发现这个错误是因为我们的一个应用程序在 2 月 18 日突然失败。代码使用“JobStatistics”对象通过调用“statistics.getQuery”来确定作业是查询还是负载() != null" 或 "statistics.getLoad() != null"。这工作得很好。但随后“statistics.getQuery()”开始返回一个对象,即使是加载作业!于是就倒下了。你可能想看看修复它。干杯。
猜你喜欢
  • 2017-12-19
  • 2021-03-26
  • 1970-01-01
  • 2023-03-26
  • 2020-09-11
  • 1970-01-01
  • 2014-10-30
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多