在 BigQuery 中使用流式缓冲区更新或删除表？

Question

尝试从通过 GCP Console 创建并使用 GCP BigQuery Node.js 表插入函数更新的表中删除记录时，我遇到了以下错误。

UPDATE or DELETE DML statements are not supported over table stackdriver-360-150317:my_dataset.users with streaming buffer

创建的表格没有流式传输功能。根据我在文档Tables that have been written to recently via BigQuery Streaming (tabledata.insertall) cannot be modified using UPDATE or DELETE statements 中阅读的内容。

这是否意味着一旦使用此功能将记录插入到表中，就无法删除记录？有吗？如果是这种情况，是否意味着需要从头开始删除并重新创建表？如果不是这样。您能否建议一种解决方法来避免此问题？

谢谢！

---

包括 SEO 的新错误消息：“表上的 UPDATE 或 DELETE 语句 ... 会影响流缓冲区中的行，这是不受支持的” -- Fh

Answer 1

要检查表是否有流缓冲区，请检查名为 streamingBuffer 的部分的 tables.get 响应，或者，当流到分区表时，流缓冲区中的数据对于 _PARTITIONTIME 伪具有 NULL 值列，因此即使使用简单的 WHERE 查询也可以检查。

Streamed data 可在第一次流插入表后几秒钟内进行实时分析，但最长可能需要 90 分钟才能用于复制/导出和其他操作。您可能需要等待最多 90 分钟，以便所有缓冲区都保留在集群上。您可以使用查询来查看流缓冲区是否为空或不像您提到的那样。

如果您使用加载作业创建表，您将没有流式缓冲区，但可能您将一些值流式传输到它。

---

请注意下面的答案，以使用具有持续流缓冲区的表。只需使用WHERE 过滤出最新的数据分钟数，您的查询就会起作用。 -- Fh

Answer 2

确保更改您的过滤器，使其不包含可能在当前流缓冲区中的数据。

例如，当我流式传输到此表时，此查询失败：

DELETE FROM `project.dataset.table` 
WHERE id LIKE '%-%'

Error: UPDATE or DELETE statement over table project.dataset.table would affect rows in the streaming buffer, which is not supported

您可以通过仅删除旧记录来修复它：

DELETE FROM `project.dataset.table` 
WHERE id LIKE '%-%'
AND ts < TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 40 MINUTE)

4282 rows affected.