【问题标题】:BigQuery, querying the streaming buffer & a partitionBigQuery,查询流缓冲区和分区
【发布时间】:2020-01-24 12:14:43
【问题描述】:

我想从 BigQuery 中查询数据,该数据位于最近的分区中,但也在流缓冲区中。

理想情况下,我希望将数据流式传输到比一天更细的分区中,也许使用装饰器:

mydataset.table$2017030112

接下来,我将查询表中的分区和缓冲区。

SELECT * FROM `mydataset.table` 
WHERE _PARTITIONTIME IS NULL 
AND _PARTITIONTIME IS 2017030112

结果应该只返回分区数据,不管它是否在缓冲区中。

问题/疑问:

  • 是否可以进行比 DAY 更细的分区?
  • 访问缓冲区和分区的查询是否仅针对分区收费?
  • 有更好的方法吗?

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    谷歌云支持在这里!

    • 不可能进行比一天更细的分区。

    • 您需要为查询扫描的字节数付费,此外,当您查询流式缓冲区时,您查询的是所谓的unpartitioned partition

    • 我想不到。这是要走的路。

    希望对你有帮助

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-06-28
      • 1970-01-01
      • 2019-05-02
      • 2019-02-28
      • 2017-05-11
      • 2018-10-25
      • 2011-11-14
      • 2021-10-06
      相关资源
      最近更新 更多