线程 QueueManagerThread 中的异常 - scikit-learn

Question

当我设置 n_jobs=-1 我得到错误，如果我设置 n_jobs 等于 big value (n_jobs=100)，但如果设置较小的值（例如 n_jobs= 32），它工作正常。我试过 reinstall scikit-learn 和 joblib 包，但无济于事。另外，它 (n_jobs=-1) 之前运行良好，但突然出错。

from sklearn import datasets
from sklearn.model_selection import cross_validate, StratifiedKFold
from sklearn.linear_model import RidgeClassifier

iris = datasets.load_iris()
iris_X = iris.data
iris_y = iris.target

skf = StratifiedKFold(n_splits=5, random_state=0, shuffle=True)
scoring = {'accuracy': 'accuracy'}

model_ridge = RidgeClassifier(random_state=0)
scores = cross_validate(estimator=model_ridge, 
                            X=iris_X,
                            y=iris_y,
                            scoring=scoring,
                            cv=skf.split(iris_X, iris_y),
                            n_jobs=-1)

线程 QueueManagerThread 中的异常：

Traceback（最近一次调用最后一次）： _bootstrap_inner 中的文件“C:\ProgramData\Anaconda3\envs\py36\lib\threading.py”，第 916 行 self.run()

文件“C:\ProgramData\Anaconda3\envs\py36\lib\threading.py”，第 864 行，运行中 self._target(*self._args, **self._kwargs)

文件“C:\ProgramData\Anaconda3\envs\py36\lib\site-packages\sklearn\externals\joblib\externals\loky\process_executor.py”，第 615 行，在 _queue_management_worker 准备好 = 等待（读者 + worker_sentinels）

文件“C:\ProgramData\Anaconda3\envs\py36\lib\multiprocessing\connection.py”，第 859 行，等待中 ready_handles = _exhaustive_wait(waithandle_to_obj.keys(), timeout)

文件“C:\ProgramData\Anaconda3\envs\py36\lib\multiprocessing\connection.py”，第 791 行，_exhaustive_wait res = _winapi.WaitForMultipleObjects(L, False, timeout)

ValueError: 最多需要 63 个句柄，得到一个长度为 65 的序列

Answer 1

听起来您在那里运行了很多内核！设置 n_jobs=60 这应该可以工作。在此处查看更多详细信息https://github.com/psf/black/issues/564