【问题标题】:Does Bigquery save a timestamp with every row inserted through streaming?Bigquery 是否为通过流插入的每一行保存时间戳?
【发布时间】:2014-07-04 03:27:14
【问题描述】:

我知道 Hbase 在每次插入时都会保存一个时间戳。谷歌 BigQuery 是否相同?如何访问它?

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    目前存在解决方法:

    “此功能已经以不同的方式投入生产。如果用户想要在请求到达 BigQuery 流系统时保存时间戳,用户可以在表架构中添加一个 TIMESTAMP 列,并在您的json有效载荷。使用“AUTO”关键字,系统将代表用户将列值设置为墙上的时间戳。希望这对您的用例有所帮助。”

    https://issuetracker.google.com/issues/72080883#comment19

    【讨论】:

    • 确认它有效,发送字符串“AUTO”(必须大写,小写无效)。
    【解决方案2】:

    不,BigQuery 不会随行保存时间戳。

    如果您希望添加这些内容,可以在此处在 BigQuery 问题跟踪器中提交功能请求:https://code.google.com/p/google-bigquery/issues/list

    【讨论】:

    • 好的,那你如何根据表装饰器(带时间戳)进行查询?
    • 这很好,当我们缓冲数据时,我们存储了时间戳;但是,当我们将缓冲区刷新到磁盘时,我们会丢失细粒度的时间戳信息。
    • 这是否意味着表装饰器会导致查询结果丢失或重复?我们依靠装饰器做增量数据汇总,我们如何知道何时以及哪些数据被刷入磁盘?
    • 刚刚创建了一个将时间戳添加到 BigQuery 流的功能请求:issuetracker.google.com/72080883
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-06-22
    • 1970-01-01
    • 2017-03-07
    • 1970-01-01
    • 1970-01-01
    • 2020-01-13
    相关资源
    最近更新 更多