从 AWS Kinesis 迁移

【问题标题】：Migrating from AWS Kinesis从 AWS Kinesis 迁移
【发布时间】：2017-08-26 05:35:51
【问题描述】：

我和我的团队有一个基于 Amazon Kinesis 服务的流系统，该系统使用 Java 独立消费者和 KCL 向其他团队提供跟踪信息。我们决定将此系统迁移到 Google Cloud Platform。

我们了解到，Google 平台中 Amazon Kinesis 的自然替代品是 Google Cloud Dataflow 服务。对吗？

其他问题是关于数据分区，因为我们在 Kinesis 中使用用户 ID 作为分区键。是否可以在 Google Dataflow 上进行相同的分区？

当然，以前有没有人做过这样的迁移或从 AWS 到 Google 平台的类似迁移？有什么建议吗？

【问题讨论】：

【解决方案1】：

是的，Cloud Dataflow 将是正确的替代方案，如果您想使用主题和订阅，您可能还希望将 Cloud Pub/Sub 作为您的消息传递中间件。

在 Dataflow 中完全可以按键对数据进行分区，但您无需为整个管道确定单个分区键。相反，当您准备好进行聚合操作时，您只需定义一个 GroupByKey 转换，Dataflow 就会正确地将您的数据分片到存储桶中，并以分布式方式在许多并行工作人员上处理它们。每个工人都将拥有您的密钥的一个子范围。

您可以在一个序列中拥有多个 GroupByKey，它们可以使用不同的键进行分片和聚合。

最近一个前 AWS 用户迁移到 GCP（特别是 Dataflow）的例子是 Brightcove。这是他们的 GCP Next session https://www.youtube.com/watch?v=3BrcmUqWNm0&feature=youtu.be&t=29m30s 的录音

【讨论】：