架构设计：Web 层如何知道工作层何时完成处理？

Question

我正在使用 Amazon AWS 构建一个用于教育目的的小型应用程序。 Web 应用程序有两个部分：

1. 上传图片的表单。
2. 显示已上传图片的所有缩略图的网格。

申请流程：

1. 用户打开网页。
2. 用户选择要上传的图片。
3. 向 Web 层发送 AJAX 请求以生成预签名的 S3 URL。
4. 收到 URL 后，会发起 AJAX PUT 请求，并将图像直接上传到 S3。
5. 上传完成后，S3 会发送带有图像密钥的 SQS 队列消息。
6. 其中一名工作人员收到该消息并创建缩略图。
7. 图像处理完成后，工作人员将缩略图上传到 S3。

此图说明了上述情况：

---

现在，网络层使用db.json 文件来保存所有现有缩略图的链接。使用该文件，客户端网页会呈现网格中的所有缩略图。

问题是，网络层如何知道何时更新包含新缩略图链接的db.json？

理想情况下，网络层将完成以下任务：

1. 仅在需要时刷新json（如果网络层刷新了json，那么它一定已经被修改了）。
2. 在更新后提供更新 db.json（如果按时添加缩略图x 并且另一个用户按时请求网页x+1，则用户知道新缩略图）。

几种方法：

1. 对于每个 index.html 请求，列出 S3 存储桶并提供最新的缩略图（违反上一节中的第 1 项）。

2. 按间隔列出 S3 存储桶（违反这两项）。

3. 在请求预签名 URL 后设置计时器，并假设工作人员在计时器响起时已完成新图像的处理（这甚至不是解决方案，主要有两个原因；Web 层有多个实例，即计时器可能会在处理完成之前响铃）。

4. 使用 S3 事件并设置一个 lambda 表达式，将 HTTP GET 请求发送到我的 Web 层上的特殊端点（也不是解决方案，因为此请求将从负载均衡器定向到单个实例，什么关于其他实例？）。

---

我不知道如何解决这个问题。 你建议我做什么？

编辑

由于这是一项教育活动，因此数据库服务超出了范围。

Answer 1

这个问题有点荒谬，将所有内容存储在一个我们不断更新的 JSON 文件中的概念，但解决方案似乎很明显......另一个 S3 事件通知。

只要您有一个系统，可以将事件的神奇礼物交给您，让您不必轮询任何事情，您就会忽视所带来的价值。

如果每个 Web 服务器都保留自己的 json 文件副本并需要更新它，那也很容易解决。

在创建缩略图时触发 S3 事件（S3 通知可以匹配前缀而不是针对整个存储桶） > S3 事件发布到 SNS 主题 > SNS 主题扇出到多个 SQS 队列，每个 Web 服务器一个。 Web 服务器上的一个进程使用单个线程订阅该服务器的队列，每次有消息进来时，本地工作人员都会在该服务器上修改 json 文件。每个服务器都会获得每个通知的副本。

我有一个旧的遗留系统，其中网站模板更改（不是代码，只是模板）通过将模板更改提交到 subversion 来实现，然后在服务器上提交svn up。因为这个 subversion repo 是为此目的而存在的，所以 Web 服务器直接从他的签出目录中读取模板。听起来很奇怪，但多年来一直很好用。我最近通过设置一个让人想起上述内容的安排来增强它，但没有 S3。当提交任何内容时，“提交后挂钩”会在 subversion 服务器上触发一个 shell 脚本。反过来，这会将有关已更改文件的消息发布到 SNS 主题，该主题散布到多个 SQS 队列——每个 Web 服务器一个，每个服务器上的一个简单脚本侦听该服务器的 SQS 队列。每个服务器一个侦听器，一个线程，因此不存在并发问题。监听器，它在新提交的文件上运行“svn up”，删除队列消息，然后监听下一个。实时事件扇出，为什么不呢？

Answer 2

db.json 文件是否存储在其中一台 Web 服务器上？如何跨多个 Web 服务器协调对 db.json 文件的更新？如何防止多个worker服务器同时更新db.json文件，互相踩踏？

我建议将缩略图的存在存储在平面文件以外的其他位置。 DynamoDB 将是存储它的好地方。 PostgreSQL 或 RDS 上的一种 MySQL 风格也可以工作。

为了将 JSON 数据提供给包含缩略图列表的 UI，我将创建一个动态页面来查询数据库并呈现 JSON 数据。这还允许您实现数据分页之类的功能，一旦您的图像集变得非常大，这将是一项要求。

为了防止 Web 层因请求 JSON 数据而过载，我将在 Web 层前面放置一个 CDN，例如 CloudFront 或 CloudFlare。为了防止数据库因缩略图列表查询而过载，我将在 Web 层和数据库之间实现一个缓存层 (Redis)。