Google App Engine / Datastore / Flask / Python app 中的内存泄漏

Question

我建立了一个简单的新闻聚合器站点，其中我所有 App Engine 实例的内存使用量不断增长，直到达到限制并因此被关闭。

我已经开始从我的应用程序中删除所有内容，以达到最小的可重现版本。这就是我现在拥有的：

app = Flask(__name__)

datastore_client = datastore.Client()

@app.route('/')
def root():
    
    query = datastore_client.query(kind='source')
    query.order = ['list_sequence']
    sources = query.fetch() 
    
    for source in sources:
        pass
    

统计数据显示了典型的锯齿模式：在实例启动时，它达到 190 - 210 Mb，然后在一些请求（但不是所有请求）时，内存使用量增加 20 - 30 Mb。 （顺便说一下，这大致对应于查询结果的估计大小，尽管我不能确定这是相关信息。）这种情况一直发生，直到超过 512 Mb，当它被关闭时。它通常发生在对“/”的第 50 到 100 个请求左右。在此期间，没有其他任何请求。

现在，如果我消除“for”循环，只剩下查询，问题就消失了，内存使用量保持在 190 Mb 不变，即使在 100 多个请求之后也没有增加。

gc.collect() 最后没有帮助。我也试过查看函数开头和结尾的 tracemalloc stats 的差异，我没有发现任何有用的东西。

请问有没有人遇到过类似的情况？有什么想法可能会出错吗？您可以推荐哪些额外的测试/调查？这可能是我无法控制的 Google App Engine/Datastore 问题吗？

谢谢。

Answer 1

@Alex 在另一个答案中做了很好的研究，所以我会跟进这个建议：尝试使用NDB Library。使用此库的所有调用都必须包装到上下文管理器中，这应保证在关闭后进行清理。这可能有助于解决您的问题：

ndb_client = ndb.Client(**init_client)

with ndb_client.context():
    query = MyModel.query().order(MyModel.my_column)
    sources = query.fetch()
    for source in sources:
        pass

# if you try to query DataStore outside the context manager, it will raise an error
query = MyModel.query().order(MyModel.my_column)

Answer 2

现在，如果我消除“for”循环，只剩下查询，问题就消失了，内存使用量保持在 190 Mb 不变，即使在 100 多个请求之后也没有增加。

query.fetch() 返回一个迭代器，而不是一个实际的结果数组

https://googleapis.dev/python/datastore/latest/queries.html#google.cloud.datastore.query.Query.fetch

查看源代码，该迭代器似乎具有用于获取查询下一页的代码。所以你的 for-loop 强制它获取结果的所有页面。实际上，在您开始迭代之前，我认为它实际上不会获取任何东西。所以这就是为什么删除你的for循环会有所作为

不幸的是，我不确定，因为当您深入研究源代码时，您很快就会遇到 GRPC 存根，并且不清楚问题是否存在。

有一个与您的问题类似的问题，提问者发现与实例化datastore.Client() 有关的内存泄漏。 How should I investigate a memory leak when using Google Cloud Datastore Python libraries?

这最终与 GRPC 中的一个问题有关，如果 GRPC 不关闭，GRPC 会泄漏 https://github.com/grpc/grpc/issues/22123

希望这会为您指明正确的方向