【问题标题】:Is there any retrieval or transfer charges for moving data from GCS bucket to BigQuery?将数据从 GCS 存储桶移动到 BigQuery 是否有任何检索或传输费用?
【发布时间】:2021-06-15 19:33:57
【问题描述】:

我正在做一些 POC,其中我将一些 Gzip 压缩的 json 文件传输到 GCS 存储桶,并进一步将这些文件消耗到 BigQuery 中进行分析。将数据从任何 GCS 存储桶(标准或冷存储线)移动到 BigQuery 存储是否有任何检索或传输费用。

我还在 GCS 上使用 GCS 生命周期配置,在创建 30 天后将我的 Json 文件从标准存储移动到近线存储。类似地,60 天后从近线到冷线,90 天后从冷线到存档存储。在这种通过生命周期配置在不同存储线之间自动移动文件的情况下,是否有任何相关的检索费用?

【问题讨论】:

    标签: google-bigquery google-cloud-storage


    【解决方案1】:

    是的,他们涉及定价,您可以参考此链接了解详细定价。

    pricing on BigQuery

    pricing on Google Cloud Storage

    【讨论】:

      【解决方案2】:

      我认为正确答案是here

      与手动更改对象的存储类不同,使用 SetStorageClass 不会重写对象。这为对象生命周期管理提供了某些定价优势:

      • 即使对象最初设置为 Nearline Storage 或 Coldline Storage,也不会产生与存储类更改相关的检索费用或提前删除费用。
      • 对象在原始存储类中设置的时间计入适用于新存储类的任何最短存储持续时间。

      当您设置另一个具有生命周期的类时,提前删除或检索费用是免费的。


      使用 BigQuery,如果您直接从 Cloud Storage(联合表)读取数据,您将支付使用 BigQuery 读取的检索费用(如果文件位于近线、冷线或存档类中)。


      编辑 1

      BigQuery 支持原生表和联合表。

      当您创建原生表时,您会创建一个load job and the ingestien fee is free. Only steaming ingestion costs on BigQuery(现在是新的写入 API,但仍处于预览阶段)

      使用原生表,您可以读取数据并将其复制到 BigQuery 存储。因此,除了 Google Cloud Storage 存储成本外,您还将开始为 bigQuery 存储付费。

      但是,当您阅读时,您是在 BigQuery 中阅读,而不是在 GCS 中阅读。 After 90 days without update of the data, they switch automatically to "cold" storage on BigQuery and cost less

      对于联合表,情况不同,你只在执行查询时从 GCS 中读取数据。

      总而言之,无论是创建本机表还是从联合表(来自 GCS)读取数据,都需要从 GCS 读取数据来执行这些操作。因此,如果数据存储在 GCS 中的近线、冷线或归档类中,您需要支付检索费用。

      【讨论】:

      • 您能否详细解释一下 bigQuery 检索成本。我可以通过两种方式从 GCS 访问数据,一种是使用 GCS 文件作为本机表,将数据从 GCS 传输到 bigQuery 存储,另一种是直接使用 GCS 文件作为外部表,它可以抵抗任何向 BigQuery 的传输。您是否知道这两种情况是否都收取检索费用?如果是,那么这些费用是否计入 BigQuery 提取费用或 GCS 检索费用?
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2021-04-23
      • 1970-01-01
      • 1970-01-01
      • 2021-01-17
      • 2023-01-22
      • 2020-09-17
      • 2019-06-07
      相关资源
      最近更新 更多