Python多处理并没有大大减少处理时间

Question

在我的项目中，我实现了python-multiprocessing 以提高处理速度。我在一个 4 核系统中对其进行了测试。但它仅显示处理时间减少了约 25%。

这是一个示例代码：

t1 = time.time()
p = Pool()
p.map(functin, file_list)
p.close()
p.join()
print '==========================================================='
print 'Pool put resume  took := ',time.time() - t1
print '==========================================================='

从理论上讲，处理时间应该减少 1\4th，因为 4 个内核正在执行该功能，而不是单个内核。我还检查了任务管理器并确认有 4 个进程正在运行。 因此，请任何人解释为什么它没有显示处理时间显着减少。我是否缺少任何配置？

Answer 1

从您显示的代码中，我看到您将一些函数应用于名为 file_list 的东西，因此看起来您在函数中使用文件。在这种情况下，我猜你的代码大部分时间都花在了 I/O 上，它的性能受到硬盘驱动器速度的限制，而不是内核数量。