多处理 python 包是否适用于 Google Cloud ml-engine？

Question

我正在尝试使用多处理 python 包（可在此处找到：https://docs.python.org/3.4/library/multiprocessing.html?highlight=process）来并行化我的预处理功能。

它在我的计算机上运行良好（使用了我的 4 个 CPU），但是当我在 google cloud ml-engine 作业上运行我的代码时，它似乎不起作用。该作业比顺序作业花费的时间要长得多，并且 cpu 利用率在某个时候下降到几乎 0%。

这是我的代码尝试：

import multiprocessing as mp

pool = mp.Pool(processes=mp.cpu_count())
params = [ some_params_lists]
pool.starmap(fn_to_run_in_parallel, params)
pool.close()
pool.join()

我也尝试过使用multiprocessing.Process()，但没有任何运气。

机器配置：

ScaleTier = 'CUSTOM'

masterTYpe = 'large_model'

Answer 1

我认为 Google Cloud 机器学习引擎与放缓没有任何关系。在您的机器上运行的代码将在 Google Cloud VM 中以相同的方式运行。

多处理并不一定意味着更快的处理。在调度开销超过多处理增益的情况下，它将变得比单处理更慢。

在 stackoverflow 中有大量关于多处理比单处理慢的讨论。例如Python multiprocessing is taking much longer than single processing

我建议您在处理逻辑之前和之后添加时间，并分别在您的机器和 Google Cloud ml-engine 中运行，以获得多处理和单处理的确切延迟。 例如

import time
start = time.time()
#your code in multiprocessing
end = time.time()
print(end - start)

start = time.time()
#your code in single processing
end = time.time()
print(end - start)

Google Cloud 机器学习引擎需要时间来加速 VM，这可能是您看到的延迟。上面的代码会告诉你确切的延迟时间。