【问题标题】:Streaming data in BigQuery在 BigQuery 中流式传输数据
【发布时间】:2016-08-10 08:14:28
【问题描述】:

在 BigQuery 中流式传输数据后,新数据仅在表中可用,因为我刷新页面数据已经消失但我仍然可以查询。主要问题是每次我关闭选项卡并再次从存储我可以看到表中的数据,但是当我刷新页面时它又会消失。

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    数据在表格中。有时您会看到以下消息:

    此表在流缓冲区中包含在预览中可能不可见的记录。

    Web UI 在显示流式传输或更新的表格详细信息方面存在一些问题。如果您运行查询,您将看到您期望的数据。

    【讨论】:

    • 有什么解决办法吗?我需要查看表格中的数据,因为我还有一个团队并且需要它。这些错误有什么解决办法吗?感谢您的回答
    • 我不知道。只需查询数据!反正预览也没那么有价值。
    • 感谢您的帮助。添加额外的信息,在做了一些研究之后,我发现如果表格在某些小时内没有改变(将更新确切的时间),我能够看到表格中的数据。我认为流式表格已验证以检查它是否正在更新与否。
    • 只是为了向其他人澄清这一点 - 这不一定是“错误”,而是与 BigQuery 处理流插入的方式有关。本质上,数据在写入之前位于缓冲区中。 BigQuery 足够智能,可以让您从缓冲区中查询和检索(因此查询工作的原因),但在写入之前它不会出现。这里有很好的解释cloud.google.com/blog/products/gcp/…
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-10-19
    • 1970-01-01
    • 2016-08-10
    • 1970-01-01
    相关资源
    最近更新 更多