从 Sql 迁移到 NoSql 数据库的限制

Question

我们在当前的 MySQL 数据库中面临与性能相关的问题。我们的应用程序在几张约 20 张桌子上相当繁重。我们在此表上运行大量聚合查询以及写入。我们的大多数团队都是开发人员，我们没有 dba 访问权限，这可能有助于重新调整我们当前的数据库并加快工作速度。

迁移到 NoSql 是一种选择。但是认真思考在

方面的更高限制是什么

• 卷（当前每天的卷约为 50GB）
• 结构化数据还是原始数据？ （结构化数据）
• 数据库上的 IO 统计信息 -（当前速率为 60 KB/秒）
• 记录写入 -（现在 3000 行/秒）

问题出现

• 50GB 足够高可以考虑 NoSql 吗？一些文档建议超过 TB
• 数据应该是原始数据，可以进一步处理以获得结构化并在应用程序中使用
• MySql 以 3000 行/秒的速度向外扩展，不确定 MySql 是否可以进一步调整

HBase 似乎对分析应用很有前景。

希望获得一些关于 RDBMS 限制的指南，可以考虑迁移到 NoSQL

Answer 1

这是一个如此广泛的话题，所以不要相信有任何“正确”的答案，但也许一些一般性建议会有所帮助：

我认为您应该从为问题选择正确工具的角度来考虑这一挑战。所有数据库都有其优点和缺点，在某些挑战中，最好的方法是使用entire toolbox 来完成工作。

请注意，将您的数据（甚至只是其中的一部分）移动到不同的数据存储区并非易事。借此机会在实施之前重新考虑您的数据模型。

完成这项工作还应考虑更多要求，例如您的增长计划。看起来你正处于这个十字路口，因为你最初的假设->选择不再与现实相提并论。如果您想在下次在同一个地方时延迟，您应该利用这个机会这样做。

最后请记住，只有在您对所有捕获的数据执行某些操作后才能真正完成这项工作 - 否则我建议您使用无限可扩展的 write-to-/dev/null 设计模式；) 换一种说法，除非您的数据是只写的，否则您需要确保您选择的任何 SQL/NoSQL/NewSQL/其他数据存储也可以在您的用例可接受的时间范围内为您提供数据/信息/知识。

Answer 2

考虑到您当前的基础架构，这可能值得，但请记住，这将是一项艰巨的任务，因为您'需要重新设计整个流程。 HBase 可以为您提供帮助，因为它具有一些简洁的功能，例如实时计数器（在某些情况下消除了定期汇总的需要）或每个客户端缓冲（可以让您扩展到每秒超过 100k 的写入），但是，请注意它不能像查询关系数据库一样被查询，因此，您需要仔细规划它以使其适合您。

看来您的主要问题在于原始数据写入，当然，您绝对可以依赖 HBase，然后每隔 X 分钟进行一次汇总，以将数据存储在您的 RDBMS 中，以便可以像往常一样对其进行查询。但是考虑到你每分钟都在做，这是一个非常短的间隔，你为什么不把数据保存在内存中，每分钟刷新一次汇总表呢？当然，您可能会丢失数据，但我不知道批评家对您丢失一分钟数据的态度如何，仅此一项就可以帮助您很多。

无论如何，我能想到的最佳建议是：阅读一本书，首先了解 HBase 的工作原理，深入了解其优缺点，然后考虑它如何满足您的特定需求。这一点至关重要，因为一个好的实施将决定它是成功还是彻底失败。

一些资源：

HBase: The Definitive Guide

HBase Administration Cookbook

HBase Reference guide（免费）