如何使用 node.js 客户端库计算完成的 BigQuery 作业的行数

Question

我想获取运行的作业的行数：

bigquery.startQuery(options)

这样做的幼稚方法是流式传输结果（例如使用）：

job.getQueryResultsStream()

并一一数一数。这显然不是很有效，尤其是对于大型结果。我想到的另一种方法是使用作业的元数据：

job.on('complete', function(metadata) {...}

我可以对响应进行“逆向工程”，以获取查询计划，并查看最后一步中写入的行数。我可以在以下位置找到：

statistics.query.queryPlan[statistics.query.queryPlan.length - 1].recordsWritten

虽然不同查询的样本使我确信这可能有效，但感觉就像是“黑客”，很难说它有多强大。似乎我可能需要处理不同的情况（查询失败等）

编辑：下面建议的另一个选项是“选择计数”由原始查询创建的临时表（在作业元数据中可用）。虽然这绝对是获得我正在寻找的结果的一种直接方法，但它的缺点是需要另一个往返来查询 BigQuery 服务，这需要几秒钟的时间。这是一个 0“字节计费”的查询（计算一个完整的表只使用表元数据），但当作业“知道”它已写入输出的行数时，它似乎是多余的。

是否有一种直接且“正确”的方法可以从作业对象中获取此计数，而无需往返 BQ 服务？可能是我遗漏/误解的字段，或者作业对象中返回 this 的函数？

Answer 1

任何作业都有目标表 - 即使您没有明确设置它 - 结果仍保存在所谓的匿名表中，您可以依次查询以获取输出行数。所以下面简单的额外查询将起作用（注意 - 名称仅作为示例）

SELECT COUNT(1) 
FROM `yourProject._0511743a77ca76c1b55482d7cb1f8e91ac5c7b36.anon17286defe54b5c07ba6810a71abfdba6388ac4e0`   

要使用的实际目标表 - 可以从作业的configuration.query.destinationTable 属性中检索

Answer 2

   job.on('complete', function(metadata) {
    console.log(metadata.statistics.query.numDmlAffectedRows)
   }