Amazon S3 中的并发性

Question

我目前正在构建一个系统，其中 S3 将被 Internet 上的许多计算机用作持久哈希集（S3 URL 是从数据中推断出来的）。如果两个节点存储相同的数据，那么它将使用相同的密钥存储，因此不会存储两次。当一个对象被删除时，我需要知道其他节点是否也在使用该数据。在这种情况下，我不会删除它。

现在我通过添加存储节点列表作为写入 S3 的数据的一部分来实现它。因此，当节点存储数据时，会发生以下情况：

1. 从 S3 读取对象。
2. 反序列化对象。
3. 将新节点的 id 添加到存储节点列表中。
4. 序列化新对象（要存储的数据和节点列表）。
5. 将序列化数据写入 S3。

这创建了一种幂等引用计数。由于 Internet 上的请求可能非常不可靠，我不想只计算存储节点的数量。这就是为什么我要存储一个列表而不是一个计数器（如果一个节点发送相同的请求 >1 次）。

只要两个节点不同时写入，这种方法就可以工作。 S3 没有（据我所知）提供任何锁定对象的方法，以便所有这 5 个步骤都成为原子的。

您将如何解决这个并发问题？我正在考虑实施某种形式的乐观并发。我应该如何为 S3 做到这一点？我是否应该使用完全不同的方法？

Answer 1

考虑首先将锁定列表与您的（受保护的）数据分开。创建一个特定于您的数据的单独存储桶以包含锁定列表（存储桶名称应该是您的数据对象名称的派生词）。使用第二个存储桶中的单个文件（每个节点一个，对象名称派生自节点名称）。节点在访问受保护的数据之前向第二个存储桶添加一个新对象，节点在完成后从第二个存储桶中删除其对象。

这允许您枚举第二个存储桶以确定您的数据是否被锁定。并且允许两个节点同时更新锁列表而不冲突。

Answer 2

补充一下 amadeus 所说的，如果您的需求不是关系型的，您甚至可以使用 AWS 的 SimpleDB，而且要便宜得多。

Answer 3

我没有使用过 Amazon S3，但这是我的持久性无知的建议。

1. 可以使用命令查询隔离吗？将读取与命令分开会很好，因为此检查仅针对命令 (DELETE) 进行，读取时不需要它（如果我理解正确的话）。

2. 如果没有对此类同步的本机支持，那么您自己的滚动解决方案可能是高负载方面的瓶颈（可以通过 [3] 和 [4] 解决）。您所有的 DELETE 都应该通过一个中心位置 - 请求队列。

3. 我会做一个专门的服务（如 WCF），其中包含一个并发请求队列。每次您需要删除一个对象时，您都会将一个项目排入队列。该服务将按照自己的节奏将项目出列，并将您的所有 5 个步骤作为单个事务执行。这可能会引入一些延迟，但如果系统读取繁重，则可能看不到这些延迟。

4. 如果系统写入繁重，您可能需要添加有助于将请求从队列中出列的工作人员 [3]

Answer 4

将引用与资源分开可能是个好主意。

您可以在 S3 版本控制之上构建并发。 或者让每个referer/node在S3上创建和删除自己的锁资源。 或者使用 Amazon Relational Database Service (RDS)。

Answer 5

您可以在您的 ec2 上实现自己的锁定机制作为服务，并使用它来同步对 S3 的访问。在这种情况下，您可以将监视器计数存储在 S3 中（单独或不）