建筑学？业务逻辑与大数据分离

Question

我有一个应用程序，它依赖于业务逻辑来对 IOT 传感器进行分组。业务逻辑是一个 PostgreSQL 数据库，用于跟踪帐户、部署的设备、配置等。

我们都知道，这些物联网设备每天能够生成数百万个数据点。我认为我不应该在 PostgreSQL 中存储“大数据”。即使我这样做了，我也可能希望将结果与业务逻辑分开。

我还需要在“大数据”上运行可视化。现在，我将 AWS S3 中的“大数据”存储为 JSON blob，并使用 Athena 和 Quicksite 将其可视化。

那么，两个问题。

首先，就建筑而言，我是否走在正确的轨道上？将业务逻辑与“大数据”分离。

第二个（假设第一个问题是肯定的），如果我的可视化依赖于某些业务逻辑，我如何将两者结合起来？将元数据保存到与生成它的业务逻辑相反的 S3 中？

Answer 1

为两种不同类型的数据设置两个独立的数据存储在架构上没有任何问题。我不再称它为“业务逻辑”，因为它不是逻辑，而是元数据。

就我个人而言，我会围绕元数据包装一个服务，以便可以在处理时检索它，这样您就可以维护单一的事实来源。如果这具有挑战性，您将其导出到 S3 存储桶的想法也可以，但是您必须担心过时的数据等。