谷歌云批处理数据流问题

Question

当我要从一个 bigquery 表中读取数据并使用 apache beam 和 java 使用批处理数据流将其写入另一个 bigquery 表时。

在同一项目中创建的临时数据集，但临时表在 1 天后过期，但临时数据集仍然是 Biquery 的一部分。

我正在使用谷歌云中的模板创建批量数据流。

如果有人遇到此类问题，请回复。

Answer 1

这是因为expiration time 只能在表中设置，不能在数据集中设置，您可以使用以下命令获取information about your temp dataset：

bq ls -a
bq show --format=prettyjson $TEMP_DATASET

在那里你会找到“defaultPartitionExpirationMs”和“defaultTableExpirationMs”，但任何与“过期数据集”相关的东西。