GCS 中 BQ 表的大小

Question

有没有办法根据 Cloud Storage 数据的大小来计算 BigQuery 表的最终大小？

例如，一个 80GB 的桶，它被转换成一个 100GB 的表。

我想要一个近似值，以了解 Cloud Storage 存储桶在 BQ 中是否小于 100GB。

谢谢！

Answer 1

你的问题很难回答。它会根据 GCS 中文件中数据的存储方式而有所不同。如果您有 80GB 的数据并且该数据采用 CSV 格式，则 BQ 大小将是一个值，但如果它存储在 JSON 中，那么它将是另一个值，如果它的 AVRO 又是另一个值，依此类推。它也将是您的列的架构类型以及您拥有多少列的函数。 Google 记录了每种数据类型需要多少存储空间（以 BQ 为单位）：

在BQ Storage Pricing 的文档中，有一个表格显示了存储不同列类型所需的数据量。

如果我需要从数据文件中知道生成的 BQ 大小，我将确定每个生成的列、每列的数据大小（平均），这将为我提供 BQ 中行的大致大小桌子。从那里，我将其乘以源文件中的行数。

您可能想尝试的另一种方法是一次加载一些现有文件，然后查看“表观”乘数是多少。从理论上讲，对于给定的文件/表对集，这可能是一个足够好的指示。