【问题标题】:AWS DynamoDB and Lambda: Scan optimizations / performanceAWS DynamoDB 和 Lambda:扫描优化/性能
【发布时间】:2020-01-12 14:01:38
【问题描述】:

为了存储 api-gateway websocket-connections,我使用了 dynamoDB-table。 发布到存储连接时,我通过以下方式在 lambda 函数中检索连接:

const dynamodb = new DynamoDB.DocumentClient();
const { Items, Count } = await dynamodb.scan({ TableName: 'Websocket' }).promise();

// post to connections

这不是很快;查询大约需要 400 - 800 毫秒,我认为这可能会更好。我可以更改我的实现中的某些内容,或者是否有另一个 aws-service 可以更好地存储有关 websocket-connection 的这些微小信息(它实际上只是一个小的 connection-id 和一个 user-id)?

【问题讨论】:

  • 您是否在不过滤的情况下检索整个表?如果该表增长会发生什么
  • 你需要获取整个表吗?是否没有可以从 API 上下文中用作查找键的相关器?
  • 我同时最多只有~2-20个用户,所以我想检索表的完整内容。对于我的测试,只有 1 个条目。
  • 你是从本地机器上打的,当它给出 400-800 毫秒?

标签: amazon-web-services aws-lambda amazon-dynamodb


【解决方案1】:

它与 dynamodb 无关,如果您对任何从磁盘读取的数据库进行扫描,这将花费您的时间和金钱。

您可以使用以下任何解决方案来实现您正在做的事情。

  1. 不要将所有 websocket id 存储为单独的行,而是考虑在其中存储 id 的单个记录,以便您可以执行单个查询(而不是扫描)并继续。

    缺点:

    一个。对同一行的多次写入将导致竞争条件。并且很少有读取可能会丢失,您可以使用条件写入来更新记录来解决这个问题(版本一直在增加,并且只有当 db 中的版本 = 您从 db 读取的版本时才更新记录)

    b. dynamodb 中单个文档的大小有限制。目前为 400kb。

  2. 将 websocket id 存储为单独的行,但按不同的键对它们进行分组,并在这些键上创建二级索引。将密钥存储在一行中。在进行提取时,首先获取所有相关组,然后查询(而不是扫描)该组的所有项目。它不能完全解决您的问题,但您可以做一些有趣的事情,比如假设有 10 个组,每秒发送 1 个组的消息。这将确保您的消息发送基础设施上的负载也是平衡的。随着用户的增加,您可以不断增加组的数量。

  3. 将 id 保存在 aws 弹性缓存等缓存中,并在使用 aws lambda 和 dyanmodb 流在 dynamodb 中创建新条目时添加/删除 id。它将确保您阅读速度很快。同时,如果缓存出现故障,您可以使用 dynamodb 通过扫描 dynamodb 再次填充它。

    缺点:

    一个。需要维护的额外组件。

【讨论】:

    猜你喜欢
    • 2016-10-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多