为什么 spark-Bigquery 在数据集中创建额外的表答案

【问题标题】：why spark-Bigquery creates extra tables in the dataset为什么 spark-Bigquery 在数据集中创建额外的表
【发布时间】：2022-10-01 10:26:58
【问题描述】：

所以我正在运行一个 spark (scala) serverless dataproc 作业，它从 bigquery 中读取和写入数据。

这是写入数据的代码：

df.write.format(\"bigquery\").mode(SaveMode.Overwrite).option(\"table\", \"table_name\").save()

一切工作正常，但除了最终表之外，这些额外的表是在我的数据集上创建的。你知道为什么以及我能做什么，所以我不会拥有它们吗？

【解决方案1】：

这些表是作为视图实现的结果或从查询加载结果而创建的。过期时间为 24 小时，可通过 materializationExpirationTimeInMinutes 选项配置

【讨论】：