【问题标题】:AWS SQS FIFO or AWS DynamoDB for processing large number of messages用于处理大量消息的 AWS SQS FIFO 或 AWS DynamoDB
【发布时间】:2018-03-01 15:07:15
【问题描述】:

我们有一个处理大量消息的业务场景。关键因素是消息的顺序很重要。

如果我们考虑使用 AWS SQS FIFO,它每秒只能处理 300 条消息。这对我们来说不适用,因为我们预计每秒超过 300 条消息并且批处理也不可能,因为我们只能向 SQS 发送一条消息。 FIFO 还可以存储 20,000 条膨胀消息。这对我们来说也很低。

第二个考虑是使用 AWS DynamoDB 并使用排序属性(如时间戳)来维护消息的顺序。

在我们期望大量数据的情况下,是否适合在我们的案例中使用 DynamoDB? SQS 和 DynamoDB 在性能和事务方面有什么重大区别吗?

【问题讨论】:

  • 你考虑过Amazon MQ吗?
  • AWS Kinesis 怎么样?
  • Kinesis 也适合我们的需要。

标签: amazon-web-services amazon-dynamodb amazon-sqs fifo amazon-kinesis


【解决方案1】:

dynamodb 和 sqs 都可以“无限”扩展。正如您所指出的,SQS fifo 有一些限制。

如果你可以让 sqs 为你工作,它可能会更便宜,但只要你有能力支付你需要的规模,dynamodb 就可以工作。无限缩放可能很昂贵 - 使用 dynamodb 比使用 sqs 更是如此。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2018-09-26
    • 1970-01-01
    • 2017-11-23
    • 1970-01-01
    • 2019-11-07
    • 2020-02-14
    • 1970-01-01
    相关资源
    最近更新 更多