谷歌模块/后端令人沮丧的行为

Question

我正在使用 GAE，我正在尝试处理一个大型 zip 文件（压缩后约为 150mb，解压缩后为 500），我每天都需要为我的应用程序执行此操作。

我创建了一个模块来从 Google Cloud Storage 加载文件并对其进行解析，同时将特定信息片段保存在 Google Datastore 中。问题是它会在几分钟内自行关闭，我基本上会丢失文件中的位置。我给实例提供了足够多的 CPU/内存，所以这不是问题..

有什么办法可以解决这个问题吗？处理关闭的文档非常有限，似乎甚至不能保证关闭请求。对我来说，GAE 无法处理 ~150mb 文件，GAE 也不能保证 10-15 分钟的正常运行时间，这似乎真的很奇怪一次。有没有办法绕过这些限制？谢谢。。

编辑：

为什么当我去加载我的模块 ([modulename].[appname].appspot.com) 时，它会加载所有可用的实例：

documentation 状态

"http://module.app-id.appspot.com 将请求发送到指定模块的默认版本的可用实例（使用循环调度）。"

Answer 1

你真的测量过有足够的内存吗？！如果您将解压缩的 500Mb 加载到内存中，那就很多了。

我在内存不足时看到了这种行为。我建议尝试使用较小的测试文件。如果可行，请尝试实现一个流解决方案，其中文件的大小无关紧要，因为它永远不会加载到内存中。