【问题标题】:BigQuery streaming data not available instantlyBigQuery 流数据无法立即获得
【发布时间】:2015-04-10 14:11:38
【问题描述】:

几天以来,我流式传输到 bigquery 的一些数据在成功插入后无法在 bigquery web ui 中立即使用(通常情况下)。

我的用例包括使用插入数千行:

bigquery.tabledata().insertAll(...)

流式插入表的结果是: (我也在检查 insertErrors 以确保如here 所述):

BigQuery insert status : {"kind":"bigquery#tableDataInsertAllResponse"}
BigQuery insert errors  : null

bigquery web ui 中可用的总行数与插入的总行数不同。

如果有任何帮助,我将不胜感激。

Bigquery 项目详情:

Project ID  : favorable-beach-87616
Table : mtp_UA_xxxx_1_20150410

项目对谷歌库的依赖:

compile 'com.google.api-client:google-api-client:1.19.0'
compile 'com.google.http-client:google-http-client:1.19.0'
compile 'com.google.http-client:google-http-client-jackson2:1.19.0'
compile 'com.google.oauth-client:google-oauth-client:1.19.0'
compile 'com.google.oauth-client:google-oauth-client-servlet:1.19.0'
compile 'com.google.apis:google-api-services-bigquery:v2-rev171-1.19.0'
compile 'com.google.api-client:google-api-client:1.17.0-rc'

非常感谢您的帮助!

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    当您说 Web UI 中可用的总行数时,您是指在表格的“详细信息”窗格中显示的行数,或者如果您执行 @ 则返回的行数987654321@查询?

    如果是前者,这是意料之中的,因为该计数器仅返回已刷新到长期存储的行数(与流数据最初写入的短期存储缓冲区相反)。这确实令人困惑,我们正在努力解决。

    如果是后者,行不会出现在查询中,这更令人担忧。如果是这种情况,请告诉我们,我们会进行调查。

    【讨论】:

    • 我说的是我通过“SELECT COUNT(*)”查询获得的总行数。谢谢你的帮助。
    • 您好我有一个类似的问题,我使用 Python insertAll() 将数据流式传输到表中,一旦我将数据转储到表中(返回成功)我无法使用 Web UI 看到数据,但是如果我运行查询来查询目标表,它会返回我插入的行,只是不会显示在 Web UI 和表摘要上(表摘要显示该表中有 0 行)
    • @CharlesChow - 请提出不同的问题;我只是在搜索其他内容时无意中看到了您的评论。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-12-28
    • 1970-01-01
    • 2023-03-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多