【问题标题】:Why are BigQuery export jobs producing an internal error?为什么 BigQuery 导出作业会产生内部错误?
【发布时间】:2014-04-01 20:17:13
【问题描述】:

我正在尝试使用以前有效的代码将数据从 BigQuery 导出到 GCS:

logger.log("Exporting BigQuery data for date:" + dayString + "<br/>");

JobConfigurationExtract extractConfig = new JobConfigurationExtract();
extractConfig.setDestinationFormat("NEWLINE_DELIMITED_JSON");
String applicationId = ServerUtils.getApplicationId();
String dataFile = "gs://"+applicationId+"_analytics/" + accountName + "-" + dayString + "-*.json";
extractConfig.setDestinationUri(dataFile);

String tableName = dayString.replaceAll("-","_");
TableReference bigQuerytableToExtractFrom = new TableReference().setProjectId(BigQueryUtils.PROJECT_NUMBER).setDatasetId(getDatasetName(accountName)).setTableId(tableName);

extractConfig.setSourceTable(bigQuerytableToExtractFrom);

JobConfiguration config = new JobConfiguration().setExtract(extractConfig);
Job job = new Job().setConfiguration(config);
Job queuedJob = BigqueryUtils.getClient().jobs().insert(BigQueryUtils.PROJECT_NUMBER, job).execute();


String jobIdString = queuedJob.getJobReference().getJobId();
jobIdString = jobIdString.substring(jobIdString.indexOf(':')+1);

return jobIdString;

但是,今天的工作信息总是返回:

{"errorResult":{"message":"Unexpected. Please try again.","reason":"internalError"},"errors":[{"message":"Unexpected. Please try again.","reason":"internalError"}],"state":"DONE"}

BigQuery 今天有问题吗?如果有,是否有预计何时修复的预计到达时间?

根据 Pentium 10 的建议,这里有几个失败的作业 ID:job_nGY3gTVibV07Y38PWJRIQ79SxaE、job_lJJBUibG_W42Lrl8Bwux0_RD_yw、

【问题讨论】:

  • 我们怎么知道这个问题的答案?
  • 请添加失败的作业ID。 @RobertHarvey 有来自 Bigquery 的支持人员查看这些问答,他们会接受的。
  • @Pentium10:我们拭目以待。
  • @Robert Harvey - BigQuery 的官方支持论坛现在是 StackOverflow,无论好坏。我怀疑谷歌与 StackOverflow 达成了某种协议来实现这一点,但这种怀疑完全基于谷歌云标签获得特殊图标这一事实。无论如何,就像 Pentium10 建议的那样,我希望我能得到官方的回应。

标签: java google-bigquery


【解决方案1】:

啊...问题是您尝试导出的表已通过流式导入写入。这目前不起作用,因为我们的导出管道不知道如何读取流缓冲区。我已经提交了一个错误。

作为一种解决方法,如果您复制表格(通过bq cp,通过 Web UI),它应该会生成一个可导出的表格,尽管可能会丢失最后几分钟的数据。如果您想要一个绝对最新版本的表,您可以使用 allowLargeResults 和目标表运行 select * 查询,然后将其导出。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2018-03-17
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-01-27
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多