将 SQL Server 项目迁移到大数据？

Question

我不确定 StackExchange 板发布此问题是否正确，但我会试一试。

我们的 ASP.NET 应用程序中有一个相当广泛的 SQL Server 后端。它包括复杂的表结构、多个视图、存储过程和函数。目前我们在内部 SQL Server 2005/2008 机器上运行它。它已经投入生产多年并且运行良好。

但最近我们有大量数据添加到系统中，而庞大的数据量开始拖慢系统速度。存储过程需要更多的时间来处理数据（我们尽可能优化它们，向表中添加所有必要的索引等）

一个建议是将项目转移到“大数据”服务。可行吗？这可以用现有的 SQL Server 项目完成吗？涉及什么？现有的代码/结构会起作用还是需要进行重大的重新设计？谁将是此类举措的最佳供应商——谷歌、微软、亚马逊？

谢谢！

Answer 1

我认为您在尝试从 SQL Server 迁移到大数据服务时将面临的第一个区别是数据的结构。

诸如图形数据库 (Neo4j)、批处理 (Hadoop)、文档数据库 (Mongo) 之类的东西……它们都有非常不同的数据模型。

大的转变通常是从规范化数据到非规范化数据。这可能会非常痛苦并且需要大量工作。例如，您必须想办法将 4-5 个表格合并到一个文档中。

如果您想真正向前迁移整个数据库，我会执行以下操作：

1. 研究要移动到的数据模型。也许像 MySQL 这样的东西会以比 SQL Server 更便宜的方式横向扩展？也许文档数据库会使开发更容易？

2. 一旦您了解了新模型，就可以在该领域尝试不同的技术。这么多大数据数据库都很年轻，我建议找一个有良好社区的数据库（比如 Mongo）。

3. 逐表检查并决定如何在新系统/数据库中对其建模。

4. 找到一种方法，在新数据库中用等效的想法替换存储过程、视图、函数。这可能非常困难，因为这些东西在很多大数据数据库中都不存在。您最终会将很多功能推送到应用程序层。 （除非你使用 MySQL）。

我可能会推荐的是坚持使用 SQL Server。一些有助于减轻 SQL Server 负担的想法：

1. 找到导致最痛苦的数据子集。将其移至大数据系统。

2. 在应用层引入缓存（如果您还没有）。帮助缓解阅读压力。

3. 碎片。您始终可以对 SQL Server 进行分片，这将有助于缓解读取问题/性能。

4. 编写作业以归档未使用的旧数据。将该数据移动到另一个“离线”的 SQL Server 实例。