【发布时间】:2023-03-30 07:27:01
【问题描述】:
我在现有表中添加了三列(更改表架构)。我可以在 Web UI 上看到它们。 但是当我将数据流式传输到 时,我有错误:没有这样的字段。我打印出数据内容 json,发现它实际上与架构匹配。
我应该等待多长时间才能看到更改后的架构以进行流式传输?有什么经验法则吗?
【问题讨论】:
标签: google-bigquery
我在现有表中添加了三列(更改表架构)。我可以在 Web UI 上看到它们。 但是当我将数据流式传输到 时,我有错误:没有这样的字段。我打印出数据内容 json,发现它实际上与架构匹配。
我应该等待多长时间才能看到更改后的架构以进行流式传输?有什么经验法则吗?
【问题讨论】:
标签: google-bigquery
流式架构的缓存失效频率当前设置为 8 小时。因此,如果您更改架构,最多可能需要 8 小时才能将数据流式传输到该表。
设置如此之高是为了在不压倒我们的元数据服务器的情况下处理非常高的插入率。
我们有一个内部错误可以将缓存时间缩短到几分钟或更短。
【讨论】: