MongoDB：单机分片。是否有意义？

Question

在 MongoDB 中创建了一个包含 11446615 个文档的集合。

每个文档都有以下形式：

{ 
 "_id" : ObjectId("4e03dec7c3c365f574820835"), 
 "httpReferer" : "http://www.somewebsite.pl/art.php?id=13321&b=1", 
 "words" : ["SEX", "DRUGS", "ROCKNROLL", "WHATEVER"],     
 "howMany" : 3 
}

httpReferer：只是一个网址

单词：从上面的 url 解析的单词。列表的大小在 15 到 90 之间。

我打算使用这个数据库来获取具有相似内容的网页列表。

我将使用 words 字段查询此集合，因此我在此字段上创建（或者更确切地说开始创建）索引：

db.my_coll.ensureIndex({words: 1})

创建此集合需要很长时间。我尝试了两种方法（以下测试是在我的笔记本电脑上完成的）：

1. 插入和索引 插入耗时 5.5 小时，主要是由于 cpu 密集型数据预处理。编制索引耗时 30 小时。
2. 插入前的索引 将所有数据插入到集合中需要几天时间。

我的主要关注点是减少生成集合的时间。我不需要复制（至少现在）。查询也不必非常快。

现在，是时候提问了：

我只有一台机器和一个磁盘，我可以运行我的应用程序。运行多个数据库实例并在它们之间拆分我的数据是否有意义？

Answer 1

在现代（2015 年） 使用 mongodb v3.0.x 时使用 mmap 进行集合级锁定，这会略微增加写入吞吐量（假设您写入多个集合），但如果您使用Wiredtiger 引擎有文档级锁定，具有更高的写入吞吐量。这消除了在单台机器上进行分片的需要。尽管从技术上讲，您仍然可以通过在单台机器上进行分片来提高 mapReduce 的性能，但在这种情况下，您最好只使用可以利用多核的聚合框架。如果您严重依赖 map reduce 算法，那么使用 Hadoop 之类的东西可能最有意义。

对 mongodb 进行分片的唯一原因是水平扩展。因此，如果单台机器无法容纳足够的磁盘空间、内存或 CPU 能力（很少见），那么分片就会变得有利。我认为很少有人有足够的数据进行分片，即使是大型企业，尤其是因为wiredtiger添加了压缩支持，可以将磁盘使用量减少80%以上。也很少有人使用 mongodb 来大规模地执行真正的 CPU 繁重的查询，因为有更好的技术可以做到这一点。在大多数情况下，IO 是影响性能的最重要因素，没有多少查询是 CPU 密集型的，除非您运行大量复杂的聚合，甚至地理空间在插入时都会被索引。

您需要分片的最可能原因是，如果您有很多索引会消耗大量 RAM，wiredtiger 可以减少这种情况，但它仍然是分片的最常见原因。在单台机器上进行分片可能只会导致不必要的开销，几乎没有或可能没有任何好处。

Answer 2

这不一定是 mongo 问题，而是一般操作系统问题。您的数据库使用可能存在三个瓶颈。

1. 网络（即您在千兆线路上，您在高峰时间使用大部分线路，但您的数据库并没有真正加载）
2. CPU（您的 CPU 接近 100%，但磁盘和网络几乎没有运行）
3. 磁盘

在网络的情况下，尽可能重写你的网络协议，否则分片到其他机器。在 CPU 的情况下，如果您在几个内核上 100% 使用但其他内核是免费的，那么在同一台机器上进行分片将提高性能。如果磁盘被充分利用，则添加更多磁盘并在它们之间分片 - 比添加更多机器便宜得多。

Answer 3

是的，在单个服务器上分片确实有意义。

1. 此时，MongoDB 仍然对每个 mongodb 服务器使用全局锁。 创建多个服务器将释放一个服务器从彼此的锁中。

2. 如果您运行具有单独 NUMA 的多核机器，这可以 还可以提高性能。

3. 如果您的服务器负载增加过多，初始分片可以在未来更轻松地进行水平扩展。你不妨现在就去做。

机器各不相同。我建议编写自己的批量插入基准程序并启动各种数量的 MongoDB 服务器分片。我有一台 16 核 RAID 机器，我发现 3-4 个分片似乎是我的重写入数据库的理想选择。我发现我的两个 NUMA 是我的瓶颈。

Answer 4

不，在单个服务器上分片 a 是没有意义的。

有一些例外情况，但它们主要归结为与运行 map/reduce 或 javascript 等相关的并发问题。

Answer 5

这个在副本集教程的第一段就有答案了

http://www.mongodb.org/display/DOCS/Replica+Set+Tutorial