对实体进行排序和过滤 ListProperty 而不会导致索引爆炸

Question

我正在开发一个简单的博客/书签平台，我正在尝试添加一个 tags-explorer/drill-down 功能，一个 là delicious 以允许用户过滤指定一个特定标签列表。

类似这样的：

使用此简化模型在数据存储中表示帖子：

class Post(db.Model):
    title = db.StringProperty(required = True)
    link = db.LinkProperty(required = True)
    description = db.StringProperty(required = True)
    tags = db.ListProperty(str)
    created = db.DateTimeProperty(required = True, auto_now_add = True)

帖子的标签存储在ListProperty 中，为了检索带有特定标签列表的帖子列表，帖子模型公开了以下静态方法：

@staticmethod
def get_posts(limit, offset, tags_filter = []):
        posts = Post.all()
        for tag in tags_filter:
          if tag:
              posts.filter('tags', tag)
        return posts.fetch(limit = limit, offset = offset)

这很好用，虽然我没有过分强调它。

当我尝试向get_posts 方法添加“排序”顺序以保持结果按"-created" 日期排序时，问题就出现了：

@staticmethod
def get_posts(limit, offset, tags_filter = []):
        posts = Post.all()
        for tag in tags_filter:
          if tag:
              posts.filter('tags', tag)
        posts.order("-created")
        return posts.fetch(limit = limit, offset = offset)

排序顺序为每个要过滤的标签添加一个索引，导致可怕的爆炸索引问题。
最后一件让这件事变得更复杂的事情是get_posts 方法应该提供一些分页机制。

你知道解决这个问题的任何策略/想法/解决方法/Hack吗？

Answer 1

涉及键的查询使用索引 就像查询涉及 特性。对键的查询需要 在相同的情况下自定义索引 有属性，有几个 例外：不等式过滤器或 key 上的升序排序不 需要一个自定义索引，但是一个 降序排序 Entity.KEY_RESERVED_PROPERTY_键_ 可以。

所以对实体的主键使用可排序的日期字符串：

class Post(db.Model):
    title = db.StringProperty(required = True)
    link = db.LinkProperty(required = True)
    description = db.StringProperty(required = True)
    tags = db.ListProperty(str)
    created = db.DateTimeProperty(required = True, auto_now_add = True)

    @classmethod
    def create(*args, **kw):
         kw.update(dict(key_name=inverse_millisecond_str() + disambig_chars()))
         return Post(*args, **kw)

...

def inverse_microsecond_str(): #gives string of 8 characters from ascii 23 to 'z' which sorts in reverse temporal order
    t = datetime.datetime.now()
    inv_us = int(1e16 - (time.mktime(t.timetuple()) * 1e6 + t.microsecond)) #no y2k for >100 yrs
    base_100_chars = []
    while inv_us:
        digit, inv_us = inv_us % 100, inv_us / 100
        base_100_str = [chr(23 + digit)] + base_100_chars
    return "".join(base_100_chars)

现在，您甚至不必在查询中包含排序顺序，尽管显式按键排序并没有什么坏处。

要记住的事情：

• 除非您在此处为所有帖子使用“创建”，否则这将不起作用。
• 您必须迁移旧数据
• 不允许祖先。
• 每个索引存储一次键，因此值得保持简短；这就是我在上面进行base-100编码的原因。
• 这不是 100% 可靠的，因为可能发生密钥冲突。上面的代码，没有 disambig_chars，名义上给出了事务之间的微秒数的可靠性，所以如果你在高峰时间每秒有 10 个帖子，它将失败 1/100,000。但是，对于可能的应用程序引擎时钟滴答问题，我会减少几个数量级，所以我实际上只相信它的 1/1000。如果这还不够好，请添加 disambig_chars;如果您需要 100% 的可靠性，那么您可能不应该使用应用引擎，但我想您可以在 save() 上包含处理键冲突的逻辑。

Answer 2

如果你颠倒了关系呢？您将拥有一个带有帖子列表的标签实体，而不是带有标签列表的帖子。

class Tag(db.Model):
  tag = db.StringProperty()
  posts = db.ListProperty(db.Key, indexed=False)

要搜索标签，你会做tags = Tag.all().filter('tag IN', ['python','blog','async'])

这有望为您提供 3 个或更多标签实体，每个标签实体都有一个使用该标签的帖子列表。然后你可以通过post_union = set(tags[0].posts).intersection(tags[1].posts, tags[2].posts) 找到包含所有标签的帖子集。

然后您可以获取这些帖子并按创建排序（我认为）。 Posts.all().filter('__key__ IN', post_union).order("-created")

注意：这段代码在我脑海中浮现，我不记得你是否可以这样操作集合。

编辑：@Yasser 指出您只能对

相反，您可以让每个帖子的键名从创建时间开始。然后您可以对通过第一个查询检索到的键进行排序，然后执行Posts.get(sorted_posts)。

不知道这将如何扩展到具有数百万帖子和/或标签的系统。

Edit2：我的意思是设置交集，而不是联合。

Answer 3

这个问题听起来类似于：

• Data Modelling Advice for Blog Tagging system on Google App Engine
• Mapping Data for a Google App Engine Blog Application:
• parent->child relationships in appengine python (bigtable)

正如Robert Kluin 在最后一个中所指出的，您还可以考虑使用类似于in this Google I/O presentation 所述的“关系索引”的模式。

# Model definitions
class Article(db.Model):
  title = db.StringProperty()
  content = db.StringProperty()

class TagIndex(db.Model):
  tags = db.StringListProperty()

# Tags are child entities of Articles
article1 = Article(title="foo", content="foo content")
article1.put()
TagIndex(parent=article1, tags=["hop"]).put()

# Get all articles for a given tag
tags = db.GqlQuery("SELECT __key__ FROM Tag where tags = :1", "hop")
keys = (t.parent() for t in tags)
articles = db.get(keys)

根据您希望通过标签查询返回多少页，可以在内存中进行排序，也可以通过将日期字符串表示为Articlekey_name 的一部分来进行排序

在#appengine IRC 频道上更新了StringListProperty 和Robert Kluin 和Wooble cmets 之后的注释。

Answer 4

一种解决方法可能是这样的：

使用分隔符对帖子的标签进行排序和连接，例如 |并在存储帖子时将它们存储为 StringProperty。当您收到 tags_filter 时，您可以对它们进行排序和连接以为帖子创建单个 StringProperty 过滤器。显然，这将是一个 AND 查询，而不是一个 OR 查询，但这就是您当前的代码似乎也在做的事情。

编辑：正如正确指出的那样，这只会匹配精确的标签列表而不是部分标签列表，这显然不是很有用。

编辑：如果您使用布尔占位符为标签建模您的 Post 模型，例如b1、b2、b3 等。定义新标签后，您可以将其映射到下一个可用的占位符，例如blog=b1, python=b2, async=b3 并将映射保存在单独的实体中。将标签分配给帖子时，只需将其等效占位符值切换为 True。

这样，当您收到 tag_filter 集时，您可以从地图构建查询，例如

Post.all().filter("b1",True).filter("b2",True).order('-created')

可以给你所有标签python和blog的帖子。