用户活动数据流的接收器以构建在线 ML 模型

Question

我正在编写一个使用来自 Google Pub/Sub 的 (user activity data, (activityid, userid, timestamp, cta, duration) 的消费者，我想为此创建一个接收器，以便我可以在线训练我的 ML 模型。

由于这个接收器是我将获取用户最后一次 x（比如 100）活动的来源，以更新 ml 模型，如果我可以以用户分片形式存储数据（比如 no-sql 数据库， bigtable)，检索会很容易，但是更新操作会很昂贵，因为我每次为用户获取活动事件时都会附加到 value，在这种情况下我应该考虑哪种类型的 sink？

Answer 1

使用 bigtable cell_version，并设置垃圾收集，以便保存最后 100 个单元版本，同时重新训练/更新 ML 模型，迭代历史单元版本。

将更新最终的读/写吞吐量和延迟