在 BigQuery 中使用大偏移量

Question

我试图通过使用偏移量获取某个行号来模拟 BigQuery 中的分页。看起来检索结果的时间随着偏移量的增加而稳步下降，直到达到ResourcesExceeded 错误。以下是一些示例查询：

是否有更好的方法可以在 BigQuery 中使用相当于“偏移量”而不出现性能下降的情况？我知道这可能需要一个不存在的灵丹妙药，但想知道是否有解决方法来实现上述目标。如果没有，如果有人可以提出一种替代方法来获得上述内容（例如 kinetica 或 cassandra 或任何其他方法），那将不胜感激。

Answer 1

正如 Dan 已经提到的，您需要引入一个行号。现在row_number() over () 超出资源。这基本上意味着您必须将计算行数的工作分开：

• 决定尽可能少且分布均匀的分区
• 计算每个分区的行数
• 分区的累积总和，以便以后知道何时开始计算行数
• 分开计算行数的工作
• 保存带有行计数列的新表以备后用

我使用EXTRACT(month FROM pickup_datetime) 作为分区，因为它分布良好

WITH
  temp AS (
  SELECT
    *,
    -- cumulative sum of partition sizes so we know when to start counting rows here
    SUM(COALESCE(lagged,0)) OVER (ORDER BY month RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) cumulative
  FROM (
      -- lag partition sizes to next partition
    SELECT
      *,
      LAG(qty) OVER (ORDER BY month) lagged
    FROM (
        -- get partition sizes
      SELECT
        EXTRACT(month FROM pickup_datetime) month,
        COUNT(1) qty
      FROM
        `nyc-tlc.green.trips_2014`
      GROUP BY
        1)) )
SELECT
  -- cumulative sum = last row of former partition, add to new row count
  cumulative + ROW_NUMBER() OVER (PARTITION BY EXTRACT(month FROM pickup_datetime)) row,
  *
FROM
  `nyc-tlc.green.trips_2014`
-- import cumulative row counts
LEFT JOIN
  temp
ON
  (month= EXTRACT(month FROM pickup_datetime))

将其保存为新表后，您可以使用新行列进行查询而不会损失性能：

SELECT
  *
FROM
  `project.dataset.your_new_table`
WHERE
  row BETWEEN 10000001
  AND 10000100

相当麻烦，但可以解决问题。

Answer 2

为什么不将结果表导出到 GCS 中？

如果你use wildcards，它会自动将表拆分为文件，并且这个导出只需要完成一次，而不是每次查询并支付所有处理费用。

然后，您无需提供对 BQ API 的调用结果，而是提供导出的文件。

Answer 3

在 BigQuery 等系统中，偏移量通过读取并丢弃所有结果直到偏移量起作用。

您需要使用列作为下限，以使引擎直接从键范围的该部分开始，您不能让引擎有效地在查询中途随机搜索。

例如，假设您想按费率代码、上车和下车时间查看出租车行程：

SELECT *
FROM [nyc-tlc:green.trips_2014]
ORDER BY rate_code ASC, pickup_datetime ASC, dropoff_datetime ASC
LIMIT 100

如果你是通过 OFFSET 100000 做的，需要 4s，第一行是：

pickup_datetime: 2014-01-06 04:11:34.000 UTC
dropoff_datetime: 2014-01-06 04:15:54.000 UTC
rate_code: 1

如果我使用了那些日期和速率值而不是偏移量，则查询只需要 2.9 秒：

SELECT *
FROM [nyc-tlc:green.trips_2014]
WHERE rate_code >= 1
  AND pickup_datetime >= "2014-01-06 04:11:34.000 UTC"
  AND dropoff_datetime >= "2014-01-06 04:15:54.000 UTC"
ORDER BY rate_code ASC, pickup_datetime ASC, dropoff_datetime ASC
limit 100

那么这是什么意思？与其允许用户指定特定的结果 # 范围（例如，从 100000 开始的新行），而是以更自然的形式指定它（例如，从 2015 年 1 月 6 日开始的游乐设施如何。

如果您想花哨并且确实需要允许用户使用特定的实际行号，您可以通过提前计算行范围来提高效率，例如查询所有内容并记住开始时的行号每天的小时数（8760 个值），甚至分钟数（525600 个值）。然后，您可以使用它来更好地猜测有效的开始。为给定的行范围（例如在 Cloud Datastore 中）查找最接近的日期/分钟，然后将该用户查询转换为上述更高效的版本。