如何有效地将 hadoop 与大型 MySQL 数据库一起使用？

Question

我对 hadoop 和 MapReduce 比较陌生，但我想用它来分析大量数据。这些数据代表大约 1 GB 的棒球统计数据，并且全部存储在 MySQL 数据库中。我知道 hadoop 是围绕将代码引入数据而不是相反的想法构建的，因此传统数据库通常不能很好地与 hadoop 一起使用。但是，我做了一些研究，看起来 Sqoop 可能适合我的需求。以下是我的几个问题：

• 1 GB 的数据是否足以保证使用 MapReduce 框架？还是小到可以按顺序处理？
• 如何才能最有效地处理这些数据？我应该使用 Sqoop 插件还是尝试重构数据？
• 使用 hadoop 可以获得哪些性能提升？

Answer 1

如果您能够在单台机器的主内存中存储和处理所有数据，那么在多台机器之间拆分数据是没有意义的。

关于你的要求有讨论here。

所以，我认为 MapReduce 处理 1 GB 数据有点过头了。没错，数据库适合从更大的数据集中选择少量数据（前提是您有正确的索引），如果您需要处理所有可用数据，则可能效果不佳。但同样，如果您拥有正确的数据库架构和正确的索引，那么您将能够使用现有的 MySQL 数据服务器非常有效地分析您的数据。

另一种情况 - 您想学习 MapReduce 并可能预期更多数据。那么 Sqoop 真的很有意义。