mongodb：另一个“如何添加随机记录”线程

Question

我在 StackOverflow 上遇到过很多同样的问题。没有提供有效的可靠解决方案，所以我们开始：

我需要从我的 MongoDB 数据库中大约 500 万个文档中以一种有效的方式随机选择一个文档。

我尝试获取.count 并使用.skip 来获取随机文档，但这需要将近三秒钟，而且效率非常非常低。

我无法对文档进行更改（例如添加“随机”）条目到每个文档或更改它们的 _id。

我尝试了添加带有增量 _id 的文档的解决方案（使用 .skip 选择一个随机的 _id 绕过），但这比我尝试在短时间内添加许多文档时带来的麻烦更多时间。

以增量方式添加数据或选择随机文档不应该这么难。我要么遗漏了一些常识，要么做错了什么，或者这就是事实......

想提出这个话题并得到你的回应。

Answer 1

这是一种使用_id 的默认ObjectId 值以及一些数学和逻辑的方法。

// Get the "min" and "max" timestamp values from the _id in the collection and the 
// diff between.
// 4-bytes from a hex string is 8 characters

var min = parseInt(db.collection.find()
        .sort({ "_id": 1 }).limit(1).toArray()[0]._id.str.substr(0,8),16)*1000,
    max = parseInt(db.collection.find()
        .sort({ "_id": -1 })limit(1).toArray()[0]._id.str.substr(0,8),16)*1000,
    diff = max - min;

// Get a random value from diff and divide/multiply be 1000 for The "_id" precision:
var random = Math.floor(Math.floor(Math.random(diff)*diff)/1000)*1000;

// work out a "random" _id value in the range:
var _id = new ObjectId(((min + random)/1000).toString(16) + "0000000000000000")

// Then query for the single document:
var randomDoc = db.collection.find({ "_id": { "$gte": _id } })
   .sort({ "_id": 1 }).limit(1).toArray()[0];

这是 shell 表示的一般逻辑，很容易适应。

所以点数：

• 查找集合中的最小和最大主键值

• 生成一个介于这些文档的时间戳之间的随机数。

• 将随机数与最小值相加，找到大于或等于该值的第一个文档。

这使用“十六进制”中时间戳值中的“填充”来形成有效的ObjectId 值，因为这正是我们正在寻找的。使用整数作为_id 值本质上更简单，但基本思想相同。