管理大量数据 SQlserver 的最佳选项

Question

我目前正在从事的项目涉及以下内容：

• 我正在处理的应用程序已连接到 SQlserver 数据库。
• SAP 将信息加载到多个表中（每天 以及每小时）到一个 MASTER 数据库
• 还有 5 个其他数据库（托管在同一台服务器上）通过同义词和对 MASTER 数据库的存储过程调用访问此信息

• MASTER 数据库纯粹用于存储数据并将其路由到其他数据库）

  主数据库 -

  表格：

• MASTER_TABLE1 <------- SAP inserts data into this table.Triggers are used to process the valid data & insert into secondary staging tables -say MASTER_TABLE1_SEC

• MASTER_TABLE1_SEC -- Holds processed data coming into MASTER_TABLE1

同一服务器中存在五个其他数据库（针对每个制造工厂）。我的应用程序连接到设施数据库（不是主数据库） 设施1 设施2 …… 设施5

MASTER_TABLE1_SEC 的同义词在这 5 个设施数据库中的每一个中创建 存储过程再次从设施数据库中调用 - 以便根据业务逻辑将数据从 MASTER_TABLE1_SEC 加载到相应的表中（在每个设施内）。

是否有更好的架构来处理此类项目？在高级数据管理方面，我是初学者。谁能提出更好的架构或工具来处理这个问题？

Answer 1

有很多模式实际上可以满足这里描述的需求。它服务于您正在使用一种类型的数据仓库。我将 Data Vault 用于我的企业数据仓库。它是一种集成建模技术，专为集成和主数据准备而设计。您可以将其视为存储所有时间的所有数据的一种方式。然后，您将为每个设施生成数据集市（Kimball 方法），这些设施仅包含它们或它们需要的任何东西。