Big Query 作业在执行过程中遇到错误答案

【问题标题】：Big Query The job encountered an error during executionBig Query 作业在执行过程中遇到错误
【发布时间】：2019-03-18 16:15:52
【问题描述】：

过去几个月我每天都在更新 BigQuery 中的这个查询。很好 - 偶尔会出现一些错误，但重试已经解决了问题。

最近几天我收到错误消息：作业在执行过程中遇到错误。重试作业可能会解决问题。

错误描述说这是一个外部错误，那么我该如何解决呢？

我一直在重试（中间有相当长的停顿），但我仍然收到错误消息。 JobID 示例：bquxjob_152ced5d_169917f0145

有人知道发生了什么吗？我可能会遇到任何数据/时间限制（但为什么只是最后几天）？

【问题讨论】：

您是否尝试过检查 BigQuery 的 GCP 监控，看看是否有什么可以解释问题 cloud.google.com/bigquery/docs/monitoring？你也可以分享你的查询，也许有办法优化它？
感谢您的快速回复。 :) 但是您能否详细说明监控工具如何帮助解决问题？据我在页面中看到的，它看起来是一个查看何时以及发生什么错误的工具，但是，我已经看到了。我只是不明白错误的原因是什么。关于查询 - 这是一个有点复杂的事情 - 由彼此内部的几个视图组成。嗯，它包含一些 UNIONS 和 LEFT JOINS 之类的东西。没有什么太先进的。它还使用一个每天更新的谷歌电子表格。
P.S.我只是尝试了一件事——删除了谷歌电子表格源——当我关闭这个源时，查询很快就完成了。我会进一步调查，让你知道我发现了什么。

标签： google-bigquery

【解决方案1】：

您可以使用 CGP 堆栈驱动程序通过此 URL 监控您的 BigQuery 进程

您可以找到的有趣信息包括 queryTime 热图和 Slot 使用情况，这可能有助于您更好地了解您的问题

关于外部表的使用，您可以使用 Google 转移（有关详细信息，请参阅此link）来安排从 CSV 到 BigQuery 表的重复转移。下图展示了如何从 webUI 进入传输设置页面

【讨论】：

谢谢，我会调查的。
乐于助人。如果您发现我的回答有帮助，请考虑投票并接受答案（请参阅（为什么）[meta.stackexchange.com/questions/5234/… 这在 SO 中很重要）

【解决方案2】：

我在预定查询中遇到了这个可怕的无用错误。它工作得很好，然后有一天它完全停止工作，从那以后一直失败，没有任何其他解释。 StackDriver（现在的“日志资源管理器”）没有任何启发意义：

jobStatus: {
  errorResult: {
    code: 14
    message: "Error encountered during execution. Retrying may solve the problem."
    }
    errors: [
      0: {
      code: 14
      message: "Error encountered during execution. Retrying may solve the problem."
    }
  ]
  jobState: "DONE"
}

找出实际问题需要很长时间，因为计划的查询由于使用 BATCH 优先级而启动缓慢。在我的案例中，我发现计划查询中的分区表和“分区字段”设置是罪魁祸首。我删除了表格并删除了分区字段，voila 事情再次起作用（尽管由于我需要分区而远非理想）。

我希望这可以帮助其他人解决这个无用的错误，但无论如何，我希望从事 BigQuery 工作的好人能找到更好的错误来解决。

【讨论】：

【解决方案3】：

我在替换分区表的内容时遇到了这个问题。两次重试没有帮助。当我从命令中删除 --range_partitioning 时，更新已正确处理。该表保持分区状态。

因此，分区表的更新似乎存在问题，当这是导致这些错误的原因时，重试可能不会受益。不知道这个错误是否还有其他原因。

【讨论】：

【解决方案4】：

此类问题可能与 BigQuery 配额错误有很大关系：https://cloud.google.com/bigquery/docs/troubleshoot-quotas#ts-number-column-partition-quota，正如其他答案所提到的，例如 4000 个分区按表配额。

【讨论】：