从同一客户端取消先前的 MongoDB 操作

Question

我有一个包含 3257477 个城市的 MongoDB 集合，我在 NodeJS 上使用 Mongoose 来访问它。我反复向它发出请求（每 500 毫秒一次）。请求通常会很快得到答复。但是，当我输入错误时，查询需要很长时间，并且请求开始堆积，直到初始请求得到答复。以下是我收集的一些请求和响应日志：

21:48:50    started query for "new"
21:48:50    finished query for "new"
21:48:52    started query for "newj ljl"  // blockage
21:48:54    started query for "newj"
21:48:55    started query for "new"
21:48:57    started query for "new ye"
21:48:59    started query for "new york"
21:49:08    finished query for "newj ljl" // blockage removed, quick queries flood in
21:49:08    finished query for "new"
21:49:08    finished query for "new york"
21:49:08    finished query for "new ye"
21:49:23    finished query for "newj"

我可以取消客户提出的请求，因此我不必担心以错误顺序返回的查询。而且我现在对如何使查询更快不感兴趣，因为查询实际正确拼写的速度很快。

我想知道新请求如何取消同一客户端发出的旧请求。换句话说，"newj ljl" 在"newj" 到达时被取消，"newj" 在"new" 到达时被取消，依此类推。如果它只是要被扔掉，为什么要捆绑数据库？

有没有合适的方法来做到这一点？

更新：

我知道db.currentOp().inprog，我想我可以使用该数组中文档的client 属性来了解它是否是重复请求，但我不太清楚如何访问它来自猫鼬。我也不确定 何时 这样做，或者我如何知道哪个请求是从 this 客户端产生的（因此要取消哪个）。我想要一个使用 Mongoose 的实际代码示例，或者如果可能的话，使用本机 NodeJS MongoDB 驱动程序！

下面是一些示例代码：

models.City.find({ ... })
    .exec(function (err, cities) {

    });

Answer 1

以下是我想出的解决问题的方法。

我可以轻松地从 Mongo shell 执行 db.currentOp().inprog 和 db.killOp()，但我真的需要在需要时从 Mongoose 自动执行此操作。由于您可以使用require('mongoose').connection.db 引用 MongoDB 驱动程序，因此您可以通过对以下集合执行“查询”来执行这些命令：

db.collection('$cmd.sys.inprog');
db.collection('$cmd.sys.killop');

完整的解决方案：

var db = require('mongoose').connection.db,
    // get the client IP address
    ip = request.headers['x-forwarded-for'] || 
         request.connection.remoteAddress || 
         request.socket.remoteAddress ||
         request.connection.socket.remoteAddress;

// same thing as db.currentOp().inprog
db.collection('$cmd.sys.inprog').findOne(function (err, data) {
    if (err) throw err;

    data.inprog.filter(function (op) {
        // get the operation's client IP address without the port
        return ip == op.client.split(':')[0];
    }).forEach(function(op){
        // same thing as db.killOp()
        db.collection('$cmd.sys.killop')
          .findOne({ 'op': op.opid }, function (err, data) {
              if (err) throw err;
          });
    });

    // start the new cities query
    models.City.find({ ... })
        .exec(function (err, cities) {

        });
});

有用的网址：

• https://groups.google.com/forum/#!topic/mongodb-user/1wFp7AqWnM4
• drop database with mongoose
• How to determine a user's IP address in node

Answer 2

您可以尝试使用db.killOp()

http://docs.mongodb.org/manual/reference/method/db.killOp/#db.killOp

更新：您可以从db.currentOp()获取当前操作的列表，并通过匹配op、query和client等字段来识别要取消的操作

http://docs.mongodb.org/manual/reference/method/db.currentOp/#db.currentOp

Answer 3

您绝对可以使用 killop 执行此操作，并且上述解决方案看起来可以解决上述问题。不过，我认为可能值得深入挖掘。

当您的查询不返回任何结果时，您的查询速度明显变慢，这一事实似乎很不寻常。这有点像完整的收藏扫描。要问的问题是，首先，您是否设置了索引，其次，您是否使用通用正则表达式进行查询？ MongoDB 并不能很好地处理像 { "name" : /.*new york.*/ } 这样的正则表达式搜索。

另外，整个“用户每点击一个键就发送一个http请求”的方式简单优雅，但也会造成一些不必要的服务器负载。也许一个搜索按钮或一个客户端超时，如果用户在 1 秒内没有按键，您只发送一个请求，这可能有助于减轻对 killop 方法的需求。