BigQuery - 使用更改/删除的记录更新表

Question

目前，我们将整个文件发送到云端（Google Cloud Storage）以导入 BigQuery 并进行简单的删除/替换。然而，随着文件大小的增加，我们的网络团队并不特别喜欢我们在其他 ETL 也在尝试运行时占用的带宽。因此，我们正在研究仅发送更改/删除的行。

尝试查找有关如何执行此操作的路径/帮助文档。范围——我将从一个简单的例子开始。我们有一个包含 3 亿条记录的大表。与其每晚发送 3 亿条记录，不如发送超过 X 百万条已更改/删除的记录。然后，我需要将更改/删除的记录合并到 BigQuery 表中。

我们目前使用 Node JS 通过 Composer 从 Storage 迁移到 BigQuery 和 Python，以在 BigQuery 中安排原生表更新。

希望为如何开始这条道路指明正确的方向。

Answer 1

在每次更新到 BigQuery 时将整行流式传输。
让表为同一个主要实体容纳多行。
编写一个视图，例如table_last，它选择最近的行。

通过这种方式，您可以对真实数据进行近乎实时的所有查询。 您可以偶尔通过运行仅使用最新行重写自身表的查询来对表进行重复数据删除。

另一种方法是，如果您有 1 个决赛桌和 1 个您流式传输的表，并且有一个 MERGE 语句，该语句计划每 X 分钟运行一次，以将更新从流式表写入决赛桌。