从 PubSub 到 Java API 的 Snowplow 数据处理

Question

我正在使用 Snowplow 进行行为数据跟踪。我可以使用 Snowplow 加载程序（& mutator）开源代码 (https://docs.snowplowanalytics.com/docs/getting-started-on-snowplow-open-source/setup-snowplow-on-gcp/setup-bigquery-destination/) 将 Pub/Sub 中的数据消费到 BigQuery，但我想直接将 Pub/Sub 中的数据消费到 Java API。

但是，来自 Pub/Sub 的数据是非结构化的，没有字符串格式的架构。数据包括“\t”作为分隔符以及“{}”来存储一些模式，这可能需要字符串处理来进行数据格式化。

有没有其他更好的方法来将数据从 Pub/Sub 解码到 Java API，而不是编写复杂的字符串处理。谢谢！

Answer 1

Snowplow 维护许多所谓的“分析 SDK”，可让您将丰富的混合 tsv + JSON 格式转换为可用于下游应用程序的纯 JSON。

对于 Java，最好的选择可能是 Scala Analytics SDK：https://github.com/snowplow/snowplow-scala-analytics-sdk。

还有.NET、Go、JavaScript 和 Python 的 SDK：https://github.com/snowplow/snowplow/tree/master/5-data-modeling/analytics-sdk。