使用使用 Streaming Insert 插入的控制台从 BigQuery 中删除数据

【问题标题】：Delete data from BigQuery using console which was inserted using Streaming Insert使用使用 Streaming Insert 插入的控制台从 BigQuery 中删除数据
【发布时间】：2021-01-31 15:36:36
【问题描述】：

我已经使用 Streaming Insert (insertAll) 将一些数据插入到我的表中，以测试代码的工作方式。现在我希望从表中删除该数据。

我使用了以下查询：

DELETE FROM MY_DATASET.my_Table WHERE someColumn like 'XYZ%'

并得到以下错误：

UPDATE or DELETE statement over table MY_DATASET.my_Table would affect rows in the streaming buffer, which is not supported

【问题讨论】：

标签： google-cloud-platform google-bigquery

【解决方案1】：

在我的情况下，在最后一次插入帮助后等待了几个小时。

另一个更快的解决方案是按time 列进行过滤（如果您的表中有一个），以便 BigQuery 知道您的删除不会影响流式数据：

time < TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 30 MINUTE)

看看Update or Delete tables with streaming buffer in BigQuery?

【讨论】：

是的。后来我才知道 Stream Buffer，等了大约 90 分钟。然后我就可以删除虚拟数据了。