在微服务之间共享海量数据

Question

我正在设计一个微服务架构的评论分析平台。

应用程序如下所示；

• 从 ecommerce-site-a (site-a) 中检索到的所有产品评论作为 excel 文件
• 评论通过excel上传到系统
• 分析代理可以列出所有评论、编辑部分评论、删除或批准
• 分析代理可以导出站点 a 的所有评论
• 基于正则表达式的自动检查适用于上传和编辑的每次审核。

我有 3 个微服务。

• 审核：负责审核 Crud 操作以及类似于批准/拒绝的操作..
• 验证：负责定义和应用审查的验证规则。
• 导出/导入：导出服务导出给定站点名称的大文件（如 site-a）

问题是在某些时候，验证服务需要获取站点 a 的所有评论，应用验证规则并生成错误（如果有）。我知道共享数据库架构和实体会破坏微服务架构。

一种可能的解决方案是

• 每当验证服务需要对站点进行评论时，它都会请求网关，网关将请求重定向到评论服务并采取响应。

这种方法的两个可能的缺点是

• 验证服务了解网关？会不会带来依赖？
• 如果我有一个网站的 1b 评论，通过休息请求获取所有评论可能是个问题。 （或者不，我可以从验证服务向网关发出分页请求..）

那么在微服务之间共享海量数据的最佳实践是什么？

• 共享实体
• 和复制数据

我阅读了很多关于使用消息队列的信息，但我认为在我的情况下，使用消息队列来共享千兆字节的数据并不好。

---

edit 1：不是共享实体，而是使用带有rest API的数据存储可以成为解决方案吗？假设我使用的是 mongodb，而不是在微服务之间共享我的实体对象，我可以使用 mongo (http://restheart.org/) 的 rest 接口并尽可能地查询数据。

Answer 1

我假设评论是相互独立的，因此验证评论只需要该评论，而不需要其他评论。

您不想共享实体，这排除了共享数据库、Hadoop 集群或 Redis 等数据存储之类的东西。您也不想复制数据，从而排除了纯文件复制或数据库级别基于触发器的复制。

总之，我想说你的目标应该是一个流。让验证器从评论中请求关于站点 A 的所有内容，但不是批量，而是在单个或小包评论流中。

验证器现在可以在不断消耗内存和处理器的情况下一个接一个地处理评论。为了获得性能，您可以创建多个验证器实例，它们同时拉取不同的、分离的流片段。同样，如果一个人无法足够快地响应请求，您可以创建多个评论微服务实例。

验证器不会持久化这个流，它只会产生错误并将它们存储或发送到某个地方；这应该满足您的无共享无重复要求。

Answer 2

您的问题不是“共享海量数据”，而是您选择基于哪些边界来分离微服务。

我可以从您的要求中看出，您选择分离的 3 个微服务（评论、验证、导入/导出）实际上是在相同的上下文和业务域中运行的……这就是评论。

我鼓励您重新考虑您的设计决策，并将评论视为一个单一的微服务，它将所有评论操作和逻辑作为一个黑盒来处理。