【发布时间】:2021-06-24 05:27:23
【问题描述】:
我想编写一个Python 脚本,它将 2 GB 数据从硬盘加载到内存中,然后每当其他程序请求时,它必须获取输入并根据输入对这些数据进行一些计算。对我来说重要的是把这 2 GB 的数据持久地保存在内存中,以加快计算速度,更重要的是避免巨大的 I/O 负载。
我应该如何将数据永久保存在内存中?或者更一般地说,我应该如何在 Python 中解决这样的问题?
【问题讨论】:
-
您确定进程间通信是提高性能的最佳方式吗?为什么不在要使用数据的同一进程中将其加载到内存中?
-
@kaya3 这不是进程间通信。运行计算的同一脚本也应该保留数据。
-
那么“每当其他程序要求时”是什么意思?
-
另一个程序应该向我的python程序发送请求,然后它必须根据已经加载的数据进行计算并返回结果。所以加载和计算是由一个python程序完成的。
-
好的 - 我认为查询和响应本身与执行计算所需的数据相比占用的内存相对较少?
标签: python python-3.x persistent-storage