删除ndb查询结果的最有效方法

Question

这是我目前的方法：

def delete_up_to_10000(query):
    for i in range(10):
        keys = query.fetch(1000, keys_only=True, deadline=40, batch_size=1000)
        ndb.delete_multi(keys)

我的问题是，是否可以在不实际获取键的情况下删除查询结果？这不应该是可能的吗？

以下是围绕我当前解决方案的几个决策点：

• 我决定一次不超过 1000 个以减少内存使用量。
• 我在各种 CRON 任务中每分钟调用此方法几次。
• 根据数据的年龄和数据类型，我对可以安全删除的数据进行了某些查询 - 我目前有数十亿个实体。
• 我希望几年后，数据的清除速度仍会比写入数据存储区的速度更快 - 因此将删除速度设置为当前写入速度的 100 倍左右。李>

Answer 1

仅键查询不检索实体。它会查看索引，但只会查看您在查询中指定的索引。

另一方面，“删除”操作不仅必须删除实体本身，还必须删除该实体的每个索引中的条目 - 无论是属性索引还是复合索引。

因此，查询根本没有同时执行删除操作所需的所有信息。假设的“删除你找到的东西”操作将只是“查找键列表，然后使用这些键更新所有索引并删除实体本身”的简写。”它可能会减少一些开销，但代价是更复杂。

Answer 2

您需要获取密钥才能进行删除。您是否正在尝试批量删除并只是将其传播出去？您应该研究一个映射器（即 mapreduce）。它非常适合浏览大量数据存储条目并删除。您可以每天/每周运行一次地图作业，以控制您的数据。

Answer 3

这是我现在的解决方案：

def _delete_from_query(query, limit, batch_size=2000):
    delete_count = 0
    next_curs = None
    while True:
        lim = min(batch_size, limit - delete_count)
        keys, next_curs, more = query.fetch_page(
            lim, start_cursor=next_curs, deadline=40, batch_size=lim, keys_only=True
        )
        ndb.delete_multi(keys)
        delete_count += len(keys)
        if not keys or not more or delete_count == limit:
            break
    return delete_count