内存泄漏在哪里？ python - 如何在python中的多处理期间使线程超时？

Question

目前尚不清楚如何在 python 中正确超时 joblib 的 Parallel 的工作人员。其他人也有类似的问题here、here、here 和here。

在我的示例中，我使用 50 个 joblib 工人池和 threading 后端。

并行调用（线程）：

output = Parallel(n_jobs=50, backend  = 'threading')
    (delayed(get_output)(INPUT) 
        for INPUT in list)

这里，Parallel 在len(list) <= n_jobs 时立即挂起而没有错误，但仅在n_jobs => -1 时才挂起。

为了规避这个问题，人们向instructions 提供了如何使用multiprocessing 为Parallel 函数（上例中的get_output(INPUT)）创建超时装饰器：

主要功能（装饰）：

@with_timeout(10)    # multiprocessing
def get_output(INPUT):     # threading
    output = do_stuff(INPUT)
    return output

多处理装饰器：

def with_timeout(timeout):
    def decorator(decorated):
        @functools.wraps(decorated)
        def inner(*args, **kwargs):
            pool = multiprocessing.pool.ThreadPool(1)
            async_result = pool.apply_async(decorated, args, kwargs)
            try:
                return async_result.get(timeout)
            except multiprocessing.TimeoutError:
                return
        return inner
    return decorator

将装饰器添加到原本可以工作的代码中会导致在约 2 倍超时长度加上 eclipse 崩溃后发生内存泄漏。

装饰器的泄漏点在哪里？

如何在 python 中的多处理期间使线程超时？

Answer 1

在没有hack 的情况下，无法在 Python 中终止线程。

您遇到的内存泄漏是由于您认为它们已被杀死的线程的积累。为了证明这一点，只需尝试检查您的应用程序正在运行的线程数量，您就会看到它们在缓慢增长。

在底层，ThreadPool 的线程并没有终止，而是一直运行你的函数直到结束。

线程不能被杀死的原因是线程与父进程共享内存。因此，在确保应用程序的内存完整性的同时杀死线程是非常困难的。

Java 开发人员想通了long ago。

如果您可以在单独的进程中运行您的函数，那么您可以轻松地依赖超时逻辑，一旦达到超时，进程本身就会被终止。

Pebble 库已经提供了decorators with timeout。