【问题标题】:What is the best approach to store audit-log / change-history in dynamodb?在 dynamodb 中存储审计日志/更改历史的最佳方法是什么?
【发布时间】:2022-01-03 05:17:05
【问题描述】:

目的是构建一个Audit Log 服务来存储应用程序的更改历史记录。将存储以下信息:

 - srcId
 - srcTable
 - changedAt
 - changes
 - user

例如,对于用户名更改 id = 10 从配置文件表将被保存为

srcId = 10,
srcTable = 'profile',
changedAt = timestamp,
changes: { name: { old: old-value, new: new-value } },
user: the-user-id-who-performed-the-change-action

尝试基于aws lambda、dynamodb构建系统。

最初考虑使用srcId 作为排序键,srcTable 作为分区键。但是由于同一 srcId/srcTable 对可以有多个条目,其中 changedAt 会有所不同。关于如何设置索引或主键以获得更好的性能增益的任何建议。

附:预期查询

  • 大部分查询将获取srcId/srcTable pair [ ~90% ] 的更改列表
  • 查找srcTable [ 5% ~ 7% ] 的更改历史记录
  • 查找用户所做的更改 [ 3% ~ 5% ]​​i>

(百分比值是对预期行为的粗略感知)

【问题讨论】:

  • srcId 和 srcTable 的基数是多少?你有大约预期的记录量吗?
  • @fedonev 没有近似值,因为预计变更历史会随着时间的推移而增长。
  • 作为docs say,“在开始之前了解应用程序访问模式的三个基本属性非常重要:数据大小、数据形状、数据速度”。换句话说,“最佳”键选择取决于数据的基数和记录/查询量(100 或 1k 或 1m、10m 新的每日记录?每天 10、1k、1m、10m 查询?)。

标签: aws-lambda amazon-dynamodb audit-logging


【解决方案1】:

最好您的 Table PK 有a high cardinality。根据您的示例,您可以通过在srcTable:srcId 组合上创建一个计算列来实现这一点(我更喜欢使用: 而不是#),然后使用您的时间戳作为您的排序键。

这实现了主要查询模式,即查找给定srcTable 和srcId 的更改列表。使用时间戳将允许您根据日期范围查询表,根据我的经验,这是审计日志的常见用例。

表格(获取<srcTable>:<srcId> 的更改历史记录):

  • PK-srcTable:srcId
  • SK-changedAt

GSI1(获取 <srcTable> 的更改历史记录):

  • PK - srcTable
  • SK-changedAt

GSI2(获取由<user> 执行的更改):

  • PK - user
  • SK-changedAt

您的商品可能与此类似:

PK (srcTable:srcId) SK (<changedAt>) srcTable srcId userId changes
profile:10 2021-11-25T06:02:27.163Z profile 10 1 {}
user:1 2021-11-25T06:03:09.811Z user 1 1 {}
profile:12 2021-11-25T06:04:17.178Z profile 12 4 {}

您可能已经看过这个,但为了未来的读者,我强烈建议您观看或关注Rick Houlihan's videos on Advanced DynamoDB modeling。另一个很棒的资源是Alex DeBrie's DynamoDB Book。

【讨论】:

  • 那么当profile:10在不同时间有多次更新时,不同SK不会有相同的PK吗?因此它不会插入新项目,而是会更新旧项目。
  • Table PK-SK 组合决定了 DynamoDB 表的唯一约束。因此,如果您在不同时间对profile:10 有更新,它们将被创建为多个项目。如果您更新它们的速度足够快以至于可能在同一毫秒内更新,您可以将精度提高到微秒或添加一个随机后缀。
猜你喜欢
  • 2010-10-16
  • 2011-06-16
  • 2018-06-16
  • 1970-01-01
  • 2020-04-24
  • 1970-01-01
  • 2010-09-22
  • 2016-12-22
  • 1970-01-01
相关资源
最近更新 更多