【问题标题】:Import firebase analytics data into BigQuery for some specific events only仅针对某些特定事件将 firebase 分析数据导入 BigQuery
【发布时间】:2017-07-18 03:09:18
【问题描述】:

我们的 android 应用程序有 100 多个事件(用户执行的活动),其中我们只想跟踪 10-15 个事件数据。从分析的角度来看,剩余事件并不重要。 我可以仅将特定事件从 Firebase 提取到 app_events 表中的 BigQuery 吗?

我了解,在将所有事件转储到 BigQuery 后,我可以查询出所需的事件。这可能不是最佳解决方案,因为我不想每 10-15 分钟(日内表)处理 GB 的数据。可以从 Firebase 分析数据中提取特定事件吗?还是有更好的方法来做同样的事情?

【问题讨论】:

    标签: firebase google-analytics firebase-realtime-database google-bigquery google-cloud-platform


    【解决方案1】:

    嗯,有多种选择可以解决这个问题。您无法控制自动导出的数据的粒度。所以你需要接受所有的事件将被导出。

    1. 只保留感兴趣的事件的副本。

    您可以做的是将原始数据保持原样,仅复制和维护您感兴趣的数据的副本,然后在复制表上构建查询。这样成本会更低,因为您将只查询包含重要数据的表。

    1. 删除不需要的数据

    您甚至可以使用您不感兴趣的DML delete all 事件。这是一个简单的 DELETE dml 调用。但请注意,您不会取回数据,因此您可能想先导出,这是免费的并保留存档文件。冷库很便宜。

    【讨论】:

    • 即使为所需事件复制数据,我也必须一次又一次地查询盘中表,因为数据是实时需要的。例如:如果当日表大小为 15GB,我每天查询 48 次,则每天处理的数据量为 720 GBs。这是一个可行的解决方案吗?此外,由于我们在 BigQuery 中使用旧版 SQL 格式,因此无法使用 DML。
    • DML 有效,并且不受旧版/或标准的影响。您只需运行和删除旧数据即可。您知道 1TB 查询只需 5 美元吗?我不知道你的 buget 是什么,但我认为这对你来说是每月 110 美元左右的负担得起的金额。
    猜你喜欢
    • 2021-02-26
    • 2019-03-12
    • 2018-08-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-10-24
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多