【问题标题】:Firebase events export from BigQuery从 BigQuery 导出 Firebase 事件
【发布时间】:2020-05-13 19:07:09
【问题描述】:

是否有推荐的方式将 firebase 事件导出到 Google Cloud Storage(例如 Parquet 格式)? 如果我将数据导出到 BigQuery,将数据持续推送到 GCP Cloud Storage 的最佳方式是什么?

原因是我有 daraproc 作业处理 Cloud Storage 中的 parquet 文件,我希望我的 firebase 数据能够以相同的方式访问。

【问题讨论】:

    标签: firebase google-cloud-platform analytics data-export


    【解决方案1】:

    目前不支持将 BigQuery 中的数据直接导出为 parquet 文件。
    BigQuery 现在支持三种格式,

    • CSV
    • Avro
    • JSON

    您可以选择使用 Apache Beam 和 Google Cloud Dataflow 将数据转换为 parquet 文件。从 BigQuery 读取数据后,使用 ParquetIO 转换数据并将其写入 Cloud Storage。

    参考

    导出数据(BigQuery)
    https://cloud.google.com/bigquery/docs/exporting-data#export_formats_and_compression_types

    ParquetIO(Apache Beam) https://beam.pache.org/releases/javadoc/2.5.0/org/apache/beam/sdk/io/parquet/ParquetIO.html

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-11-02
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多