NDB - 删除键列表的最有效方法

Question

我相信我需要使用ndb.delete_multi，但我对如何使它适用于一组特定的键以及它是否是最有效的方法感到困惑。将 Python 2.7 与 Google App Engine 结合使用。

首先，我正在收集要删除的密钥。我不想删除所有内容，只删除那些 1 小时或更长时间的条目。为此，我首先收集满足此条件的键列表。

cs = ChannelStore()
delMsgKeys = []
for x in cs.allMessages():
   current = datetime.datetime.now()
   recordTime = x.channelMessageCreated
   timeDiffSecs = (current - recordTime).total_seconds()
   timeDiff = (timeDiffSecs/60)/60
   if timeDiff >=1:
      delMsgKeys.append(x.key.id())
ndb.delete_multi(?????)

cs.allMessages() 的定义：

def allMessages(self):
        return ChannelStore.query().fetch()

首先，这总体上是最有效的方法吗？其次，如何使用通过ndb.delete_multi 语句创建的密钥列表？

---更新----

ndb.delete_multi 的问题与我传递它的键有关。在我上面发布的代码中，密钥应该存储如下：

delMsgKeys.append(x.key)

与上面的ndb.delete_multi 一起工作。

Answer 1

根据NDB documentation，您只需将密钥列表传递给ndb.delete_multi，因此根据您的代码，这应该可以工作：

ndb.delete_multi(delMsgKeys)

不过，我不确定您可以在单个 ndb.delete_multi() 调用中传递的密钥数量的限制是多少。

对于这个查询：

ChannelStore.query().fetch()

您可以通过添加auto_now = True (more documentation here) 在创建/更新实体时添加一个实体属性来存储时间戳。然后使用timestamp 属性，您可以查询如下内容：

sixty_mins_ago = datetime.datetime.now()- datetime.timedelta(minutes = 60)
qry = ChannelStore.query()
list_of_keys = qry.filter(ChannelStore.timestamp < sixty_mins_ago).fetch(keys_only = True)

由于您不需要实体，因此keys_only fetch 会更便宜。当然，这段代码假设你的 ChannelStore 模型有一个 timestamp 属性，所以你的模型必须是这样的：

class ChannelStore(ndb.model):
    #other properties go here
    timestamp = ndb.DateTimeProperty(auto_now = True)

把它们放在一起，这样的东西可能适用于你上面的代码块：

from models import ChannelStore
from google.appengine.ext import ndb
from datetime import datetime, timedelta
# other imports

def delete_old_entities():
    sixty_mins_ago = datetime.now() - timedelta(minutes = 60)
    qry = ChannelStore.query()
    qry = qry.filter(ChannelStore.timestamp < sixty_mins_ago)
    list_of_keys = qry.fetch(keys_only = True)
    ndb.delete_multi(list_of_keys)

如果您必须删除大量密钥并且使用 ndb.delete_multi 调用遇到某种 API 限制，您可以将 delete_old_entities() 方法更改为以下内容：

def delete_old_entities():
    sixty_mins_ago = datetime.datetime.now() - datetime.timedelta(minutes = 60)
    qry = ChannelStore.query()
    qry = qry.filter(ChannelStore.timestamp < sixty_mins_ago)
    list_of_keys = qry.fetch(keys_only = True)

    while list_of_keys:
        # delete 100 at a time
        ndb.delete_multi(list_of_keys[:100])
        list_of_keys = list_of_keys[100:]