Python中的内存交换时间

Question

这里的挑战在于评估多个大文件。

什么编码会指示 Python 将有限数量的文件“加载”到内存中、处理它们、垃圾收集然后加载下一组？

def main(directory):
    """
    Create AudioAnalysis Objects from directory and call object_analysis().
"""   
    ff = os.listdir(directory)
    for f in ff:
        # can we limit the number we load at one time?
        audiofile = audio.LocalAudioFile(os.path.join(directory,f)) # hungry!

尝试在循环中添加audiofile = 0，但是内存分配是一样的。

据我了解，Lazy Evaluation“是一种评估策略，它会延迟表达式的评估，直到需要它的值”，但在这种情况下，我需要 延迟评估，直到有可用内存为止 .

我期待可能涉及decorator、descriptor 和/或使用 Pythons property() 函数，或者可能会缓冲或排队输入。

Answer 1

这是一种解决方案：让 Python 生成一个进程，在一个文件上运行该函数，然后退出。父 proc 将从每个文件中收集结果。

这绝不是优雅的，但如果 LocalAudioFile 拒绝从内存中删除，它可以在获得结果时提供一些灵活性。

这段代码对当前目录中的每个 Python 文件运行一个函数，向父进程返回一条消息，父进程将其打印出来。

来源

import glob, multiprocessing, os

def proc(path):
    """
    Create AudioAnalysis Objects from directory and call object_analysis().
"""   
    # audiofile = audio.LocalAudioFile(path) # hungry!
    return 'woot: {}'.format(path)

if __name__=='__main__':  # required for Windows
    pool = multiprocessing.Pool()   # one Process per CPU
    for output in pool.map(proc, [
            os.path.abspath(name) for name in glob.glob('q*.py')
            ]):
        print 'output:',output

输出

output: woot: /home/johnm/src/johntellsall/karma/qpopen.py
output: woot: /home/johnm/src/johntellsall/karma/quotes.py