GAE 数据存储 - 写入多于读取时的最佳实践

Question

我正在尝试对 GAE 数据存储进行一些练习，以了解查询和计费机制。

我已阅读有关 GAE 的 Oreilly 书籍，并观看了有关数据存储的 Google 视频。我的问题是，最佳实践方法通常涉及对数据存储的读取多于写入。

我构建了一个超级简单的应用程序：

• 有两个网页 - 一个 选择链接，并选择一个视图 链接
• 每个用户都可以选择将 url 链接添加到他的“链接提要”中
• 用户可以随时选择任意数量的链接。
• 在另一个网页上，我想向用户显示他最近选择的 10 个链接。
• 每个用户都有自己的“链接提要”网页。
• 在我想保存并显示一些元数据的每个“链接”上 - 例如：url 链接本身；什么时候被选中；它已经在提要上出现了多少次；等

在这种情况下，由于用户可以选择他想要的任意数量的链接，所以我的应用程序写入数据存储区的次数远远多于读取次数（写入 - 当用户选择另一个链接时；读取 - 当用户打开网页以查看他的“链接提要”）

问题 1： 我可以想到（至少）两个选项来处理这个应用程序的数据：

选项 A： - 使用用户详细信息、注册等维护每个用户的实体 - 为每个用户维护另一个实体，保存他最近选择的 10 个链接，在他请求后将其呈现到用户的网页

选项 B： - 维护每个 url 链接的实体 - 这意味着所有用户的所有 url 都将存储为同一个对象 - 维护每个用户详细信息的实体（与选项 A 相同），但在 url 的大表中添加对用户 url 的引用

什么是更好的方法？

问题 2： 如果我想计算直到今天选择的 url 总数，或者用户选择的每日 url 数量，或者任何其他计算 - 我应该将它与我的 SDK 工具一起使用，还是应该在我上面描述的实体中插入计数器？ （我想尽可能减少数据存储写入量）

编辑（回答@Elad 的评论）： 假设我只想保存每个用户的最后 10 个网址。其余的我想摆脱（所以不要用不必要的数据填充我的数据库）。

编辑 2：添加代码后 所以我尝试了以下代码（尝试第一个 Elad 的方法）：

这是我的课：

class UserChannel(db.Model):
currentUser = db.UserProperty()
userCount = db.IntegerProperty(default=0)
currentList = db.StringListProperty() #holds the last 20-30 urls

然后我将 url 和元数据序列化为 JSON 字符串，用户从第一页发布。 以下是 POST 的处理方式：

def post(self):
    user = users.get_current_user()
    if user:  
        logging messages for debugging
        self.response.headers['Content-Type'] = 'text/html'
        #self.response.out.write('<p>the user_id is: %s</p>' % user.user_id())            
        updating the new item that user adds
        current_user = UserChannel.get_by_key_name(user.nickname())
        dataJson = self.request.get('dataJson')
        #self.response.out.write('<p>the dataJson is: %s</p>' % dataJson) 
        current_user.currentPlaylist.append(dataJson)
        sizePlaylist= len(current_user.currentPlaylist)
        self.response.out.write('<p>size of currentplaylist is: %s</p>' % sizePlaylist)
        #whenever the list gets to 30 I cut it to be 20 long
        if sizePlaylist > 30:
            for i in range (0,9):
                current_user.currentPlaylist.pop(i)
        current_user.userCount +=1
        current_user.put()
        Updater().send_update(dataJson) 
    else:
        self.response.headers['Content-Type'] = 'text/html'
        self.response.out.write('user_not_logged_in')

Updater 是我使用 Channel-API 更新带有提要的网页的方法。

现在，一切正常，我可以看到每个用户都有一个包含 20-30 个链接的 ListProperty（当它达到 30 个时，我使用 pop() 将其减少到 20 个），但是！价格相当高... 像这里的每个 POST 需要 ~200 毫秒，121 cpu_ms，cpm_usd = 0.003588。考虑到我所做的只是将字符串保存到列表中，这非常昂贵...... 我认为问题可能是实体因大 ListProperty 而变大？

Answer 1

首先，您担心对 GAE 数据存储的大量写入是正确的 - 我自己的经验是，与读取相比，它们非常昂贵。例如，我的一个应用程序只在单个模型表中插入记录，达到了每天几十万次写入的免费配额。因此，有效地处理写入直接转化为您的底线。

第一个问题

我不会将链接存储为单独的实体。数据存储不是 RDBMS，因此不一定适用标准规范化做法。对于每个用户实体，使用 ListProperty 来存储最新的 URL 及其元数据（您可以将所有内容序列化为字符串）。

• 这对于写入非常有效，因为您只更新一条记录 - 每当用户添加链接时，所有链接记录都不会更新。请记住，要保留一个滚动列表 (FIFO)，其中引用 URL 存储为单独的模型，每个新 URL 都意味着两个写入操作 - 插入新 URL，以及删除最旧的 URL。
• 读取也很有效，因为对用户记录的单次读取即可为您提供呈现用户提要所需的所有数据。
• 从存储的角度来看，全世界的 URL 总数远远超过你的用户数（即使你成为下一个 Facebook），你的用户选择的 URL 的方差也是如此，所以很可能平均值URL 将只有一个用户 - 在 RDBMS 风格的数据规范化方面没有真正的收获。

另一个优化思路：如果您的用户通常会在短时间内添加多个链接，您可以尝试批量编写它们而不是单独编写它们。使用 memcache 存储新添加的用户 URL，并使用任务队列定期将瞬态数据写入持久数据存储。不过，我不确定使用 Tasks 的资源成本是多少 - 你必须检查一下。 Here's a good article 阅读主题。

第二个问题

使用计数器。请记住，它们在分布式环境中并非微不足道，因此请阅读 - 有很多关于该主题的 GAE 文章、食谱和博客文章 - 只需 google appengine counters。在这里，使用 memcache 也应该是一个不错的选择，以减少数据存储写入的总数。

Answer 2

回答 1

将链接存储为单独的实体。还使用 ListProperty 为每个用户存储一个实体，其中包含最近 20 个链接的键。当用户选择更多链接时，您只需更新键的 ListProperty。 ListProperty 维护顺序，因此您无需担心所选链接的时间顺序，只要您遵循 FIFO 插入顺序即可。

当您想要显示用户选择的链接（第 2 页）时，您可以执行一次 get(keys) 以在一次调用中获取所有用户的链接。

答案 2

一定要保留计数器，随着实体数量的增长，计数记录的复杂度会不断增加，但是有了计数器，性能会保持不变。