Sequelize - 使用包含向查询添加限制，无法正确限制检索

Question

问题描述

使用 SubQuery 向 Sequelize Query 添加限制无法限制检索。引用此错误的多个在线资源并且没有解决方案。这是 Sequelize 错误还是用户错误？

你在做什么？

ThreadFolderUser.findAll({
order: [
  ['updated_at', 'DESC']
],
where: {
  user_id,
  folder_id,
  deleted,
  archived,
},
distinct: true,
offset,
limit: 10,
include: [
  {
    model: Thread,
    include: [
      { model: Email, include: [Attachment] },
    ]
  }
],

})

---

协会

// ThreadFolderUser (assoc table) - Thread / Folder / User (tables)
User.hasMany(ThreadFolderUser, { foreignKey: 'user_id' })
ThreadFolderUser.belongsTo(User, { foreignKey: 'user_id' })
Folder.hasMany(ThreadFolderUser, { foreignKey: 'folder_id' })
ThreadFolderUser.belongsTo(Folder, { foreignKey: 'folder_id' })
Thread.hasMany(ThreadFolderUser, { foreignKey: 'thread_id' })
ThreadFolderUser.belongsTo(Thread, { foreignKey: 'thread_id' })

// Thread - Emails
Thread.hasMany(Email, { foreignKey: 'thread_id' })
Email.belongsTo(Thread, { foreignKey: 'thread_id' })

// Email - Attachments
Email.hasMany(Attachment, { foreignKey: 'email_id' })
Attachment.belongsTo(Email, { foreignKey: 'email_id' })

---

您预计会发生什么？

我预计从 AssociationTable 中检索到 10 条记录（基于当前设置为 10 条的限制），因为我在数据库中至少有 15 条记录与此查询匹配。

实际发生了什么？

在我的情况下返回 6，而不是 10（限制设置为 10）。而不是拉前 10 场比赛。

---

附加上下文

如果我删除 限制，它会按预期工作（即使包含包含）。

如果我删除 include，它会按预期工作（即使有限制）。

如果我复制/粘贴 Sequelize 生成的 SQL 查询并将其直接插入 Workbench，它会检索适当数量的行。

问题似乎是 limit 结合 include 导致查询仅检索在数据库中搜索的前 10 个匹配的记录。

---

对同一问题的其他参考，但未提供适当的解决方案：

• https://github.com/sequelize/sequelize/issues/7344

• https://github.com/sequelize/sequelize/issues/7585

• Sequelize limit include association

---

环境

• 续集版本：v5.21.3
• Node.js 版本：v12.13.1
• 操作系统：AWS Lambda 函数
• TypeScript 版本：3.7.2

---

我很清楚，这个完全相同的问题已在多个其他线程和平台中提出——正如我在上面链接了其中的一些——但是它们都没有直接的答案，其中 1 个被标记一个无关紧要的点作为没有解决预期问题的答案。我希望我们能得到这个问题的答案，或者除了硬编码 SQL 查询（最后的手段）之外的现实解决方法。

如果 Sequelize 无法在同一个查询中处理包含包含的限制，那将是不可想象的，因此我这边一定有一些缺失/用户错误。我已经搜索了多次，并且肯定是从 Sequelize 文档开始的，其中没有引用这个问题或类似的例子，或者结合限制和包含可能出现的任何问题。

非常感谢您为帮助解决此问题所做的任何贡献。希望有一些@Sequelize 工程师能够帮助回答这个问题:)

Answer 1

在您进行 sequelize 以通过单独的查询获取包含的关联对象之前，您无法正确限制包含 hasMany 关联的 sequelize 查询。在您的查询中，您有 include 与关联 Thread.hasMany(Email 因此您应该在电子邮件中指出 separate: true 像这样（这个也适用于附件关联）：

include: [
      { 
       model: Email, 
       separate: true,
       include: [{
         model: Attachment,
         separate: true
       }] },
    ]

另外，您不需要指出 distinct: true，因为我们已经指出将 hasMany 关联分离到自己的查询中。

hasMany includes（尤其是嵌套的 hasMany）的另一个问题 它们在 SQL 查询中变成 JOIN，这意味着数据库将一定数量的主记录乘以一定数量的嵌套记录，依此类推。 例如：100 条主记录，每条有 100 条链接记录，每条都有自己链接的 100 条记录（主题 -> 电子邮件 -> 附件）。总而言之，您创建一个数据库来一次查询 100*100*100 - 100 万条记录！它通常会导致内存不足。

关于 LIMIT 和 hasMany：数据库选择 100 条主记录，每个记录有 100 条链接（一次 10000 条记录），然后从这 10000 条记录中获取前 10 条记录（而不是来自 100 条主记录）。这就是 SQL 查询的工作原理！