【问题标题】:How to wire a DynamoDB stream to a kinesis stream?如何将 DynamoDB 流连接到 kinesis 流?
【发布时间】:2019-09-13 13:33:08
【问题描述】:

我假设我

  • 创建一个表并启用流,我现在有了一个 ARN
  • 创建运动流
  • 配置某处以告诉 dynamoDb 流写入 kinesis 流

我正在考虑使用 https://github.com/harlow/kinesis-consumer,但这是从 kinesis 读取的,或者我可以使用 ARN 并使用它直接从 dynamoDB 流中读取吗?

我越看,我似乎越想,我必须写一个 lambda 来读取 dynamoDB 并写入 kinesis。对吗?

谢谢

【问题讨论】:

    标签: amazon-web-services go amazon-kinesis amazon-dynamodb-streams


    【解决方案1】:

    您好,您能提供更多有关您的目标设置的信息吗?您是否打算为您的 dynamoDB 表执行某种 ETL 流程? AFAIK 当您将 kinesis 流绑定到 dynamodb 表时,每次您在 dynamodb 上添加、删除或更新行时,都会在关联的 kinesis 流中发布一个新事件,您可以从中消费并以任何您想要的方式使用该事件。

    也许值得检查一下: https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/Streams.KCLAdapter.Walkthrough.html

    【讨论】:

    • 我没有 -1 你。我讨厌那样做的人。无论如何@Folger Fonseca,dynamoDB 流不是运动流。事实上,他们在 dynamoDB 流 api 之上制作了一个适配器,因此您可以在顶部使用 kinesis api。 kinesis 流增强了扇出,而 dynamoDB 流没有。
    • 你是对的,我们在我的公司使用这种方法来填充我们的 DWH,但我认为流的行为会像任何其他正常的运动流一样,在这种情况下我认为不会有另一个比让 lambda 发布到您的愿望流的方式。谢谢@Dean
    • 太酷了!它是否仍像在 DynamoDB Streams 中一样保持 Kinesis Data Streams 中的记录顺序?
    猜你喜欢
    • 2016-08-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-08-20
    • 2017-02-24
    • 2018-02-09
    • 1970-01-01
    • 2016-11-29
    相关资源
    最近更新 更多