从对象列表中获取对象而无需额外的数据库调用 - Django

Question

我有一个对象的导入，我想检查数据库是否已经在之前导入过，如果有，我会更新它，如果没有，我会创建一个新的。但是最好的方法是什么。

现在我有这个：

old_books = Book.objects.filter(foreign_source="import")
for book in new_books:
    try:
        old_book = old_books.get(id=book.id):
        #update book
    except:
        #create book

但这会为 new_books 中的每本书创建一个数据库调用。所以我正在寻找一种方法，它只会对数据库进行一次调用，然后从该查询集中获取对象。

Ps：不要寻找 get_or_create 之类的东西，因为更新和创建函数比这更复杂:)

--- 编辑---

我想我的解释不够好，因为答案并不能反映问题所在。所以为了更清楚（我希望）：

我想根据该对象的 id 从查询集中挑选出一个对象。我想要完整的对象，所以我可以更新它并使用它更改的值保存它。所以假设我有一个包含 3 个对象 A 和 B 和 C 的查询集。然后我想要一种方法来询问查询集是否有对象 B 以及是否有然后获取它，而无需额外的数据库调用。

Answer 1

假设new_books 是Book 的另一个查询集，您可以尝试过滤它的id 为

old_books = Book.objects.filter(foreign_source="import").filter(id__in=[b.id for b in new_books])

有了这个old_books 已经创建了书籍。

Answer 2

您可以使用values_list('id', flat=True) 在单个数据库调用中获取所有 ID（比查询集快得多）。然后你可以使用集合来找到交叉点。

new_book_ids = new_books.values_list('id', flat=True)
old_book_ids = Book.objects.filter(foreign_source="import") \
                           .values_list('id', flat=True)
to_update_ids = set(new_book_ids) & set(old_book_ids)
to_create_ids = set(new_book_ids) - to_update_ids

-- 编辑（包括更新的部分）--

我猜你面临的问题是批量更新而不是批量获取。

如果更新很简单，那么这样的事情可能会起作用：

old_book_ids = Book.objects.filter(foreign_source="import") \
                           .values_list('id', flat=True)
to_update = []
to_create = []
for book in new_books:
    if book.id in old_book_ids:
        # list of books to update
        # to_update.append(book.id)
    else:
        # create a book object
        # Book(**details)
# Update books
Book.objects.filter(id__in=to_update).update(field='new_value')
Book.objects.bulk_create(to_create)

但是如果更新比较复杂（更新字段依赖于相关字段），那么你可以检查 MySQL 中的insert... on duplicated key update 选项和its custom manager for Django。

如果以上内容完全偏离轨道，请发表评论。

Answer 3

您必须执行多个查询。你需要两组对象，你不能像那样同时获取它们和任意拆分它们。没有 bulk_get_or_create 方法。

但是，您提供的示例代码将对 每个对象 进行查询，这确实不是很有效（或 djangoic）。相反，使用__in 子句创建智能子查询，然后您可以将数据库命中限制为仅两个查询：

old_to_update = Book.objects.filter(foreign_source="import", pk__in=new_books)
old_to_create = Book.objects.filter(foreign_source="import").exclude(pk__in=new_books)

Django 足够聪明，知道如何在该上下文中使用 new_books 查询集（它也可以是常规的 id 列表）

更新

Queryset 对象只是一种对象列表。所以你现在需要做的就是遍历对象：

for book in old_to_update:
    #update book

for book in old_to_create:
    #create book

此时，当它从 QuerySet 中获取书籍时，不是从数据库中，这比为每一本书都使用 .get() 要高效得多 - 你会得到同样的结果。每次迭代您都可以使用一个对象，就像您从直接的 .get() 调用中获得它一样。

Answer 4

我发现的最佳解决方案是使用 python next() 函数。

首先将查询集评估为一个集合，然后选择您需要的书与下一个：

old_books = set(Book.objects.filter(foreign_source="import"))
old_book = next((book for book in existing_books if book.id == new_book.id), None )

这样，每次您需要从查询集中获取特定书籍时，都不会查询数据库。然后你可以这样做：

if old_book:
    #update book
    old_book.save()
else:
    #create new book

在 Django 1.7 中有一个 update_or_create() 方法可以更好地解决这个问题：https://docs.djangoproject.com/en/dev/ref/models/querysets/#django.db.models.query.QuerySet.update_or_create