数据存储性能、我的代码或数据存储延迟

Question

上个月，我在一个非常基本的数据存储查询方面遇到了一些问题。它涉及 2 个 db.Model，其中一个通过 db.ReferenceProperty 引用另一个。

问题是根据管理员日志，请求大约需要 2-4 秒才能完成。我将其剥离为一个简单的表格和一个列表以显示结果。 put 工作正常，但 get 会累积（在我看来）很多 cpu 时间。

#The get look like this: 
outputData['items'] = {} 
labelsData = Label.all() 
for label in labelsData: 
        labelItem = label.item.name 
        if labelItem not in outputData['items']: 
                outputData['items'][labelItem] = { 'item' : labelItem, 'labels' : [] } 
        outputData['items'][labelItem]['labels'].append(label.text) 
path = os.path.join(os.path.dirname(__file__), 'index.html') 
self.response.out.write(template.render(path, outputData)) 
#And the models: 
class Item(db.Model): 
        name = db.StringProperty() 
class Label(db.Model): 
        text = db.StringProperty() 
        lang = db.StringProperty() 
        item = db.ReferenceProperty(Item) 

我尝试了多种不同的方式，即。而不是 ReferenceProperty 将项目模型中的所有标签键存储为 db.ListProperty。

我的测试数据在 Item 中只有 10 行，在 Label 中只有 40 行。

所以我的问题是：尝试优化它是愚蠢的差事，因为高 cpu 使用率是由于数据存储的问题还是我只是在代码中的某个地方搞砸了？ ..弗雷德里克

编辑：

我在 google appengine 邮件列表中收到了 djidjadji 的好评。

新代码如下所示：

outputData['items'] = {}
labelsData = Label.all().fetch(1000)
labelItems = db.get([Label.item.get_value_for_datastore(label) for label in labelsData ])
for label,labelItem in zip(labelsData, labelItems):
   name = labelItem.name
   try:
       outputData['items'][name]['labels'].append(label.text)
   except KeyError:
       outputData['items'][name] = { 'item' : name, 'labels' : [label.text] }

Answer 1

您当然可以采取一些措施来优化您的代码。例如，您正在迭代一个查询，这比获取查询和迭代结果效率低。

我建议使用Appstats 来分析您的应用，并查看Patterns of Doom 系列帖子。

Answer 2

不要只是尝试。那是猜测。你只会在一些的时候是对的。出于同样的原因，也不要让其他人猜测。

每次都是正确的。

只需将代码暂停几次，然后查看调用堆栈。这会准确地告诉你发生了什么。