XGBoost 和交叉验证并行

Question

我看到XGBClassifier() 和sklearn.model_selection.RandomizedSearchCV() 都有参数n_jobs。我执行了 CV，我看到通过设置 n_jobs = -1（在两者中）我利用了我拥有的 16 个工人：

Fitting 5 folds for each of 30 candidates, totalling 150 fits
[Parallel(n_jobs=-1)]: Using backend LokyBackend with 16 concurrent workers.
[Parallel(n_jobs=-1)]: Done   9 tasks      | elapsed: 13.7min
[Parallel(n_jobs=-1)]: Done  18 tasks      | elapsed: 20.4min
[Parallel(n_jobs=-1)]: Done  29 tasks      | elapsed: 23.7min
[Parallel(n_jobs=-1)]: Done  40 tasks      | elapsed: 28.7min
[Parallel(n_jobs=-1)]: Done  53 tasks      | elapsed: 36.1min
[Parallel(n_jobs=-1)]: Done  66 tasks      | elapsed: 43.4min
[Parallel(n_jobs=-1)]: Done  81 tasks      | elapsed: 47.6min
[Parallel(n_jobs=-1)]: Done  96 tasks      | elapsed: 50.8min
[Parallel(n_jobs=-1)]: Done 113 tasks      | elapsed: 60.0min
[Parallel(n_jobs=-1)]: Done 135 out of 150 | elapsed: 73.1min remaining: 8.1min
[Parallel(n_jobs=-1)]: Done 150 out of 150 | elapsed: 85.7min finished

我现在不能重复分析，但我假设发生并行化是因为RandomizedSearchCV() 中的n_jobs=1。

我对并行计算知之甚少。我知道RandomizedSearchCV() 独立运行每个参数设置，但是在并行化时它是如何具体工作的？那么n_jobs=-1 和XGBClassifier() 呢？两个函数都设置这个参数有意义吗？

Answer 1

问：在两个函数中都设置这个参数有意义吗？

一个简短的版本：不，它没有。

较长的版本需要了解一下 n_jobs 的实际处理方式。

拥有一些昂贵的资源（对，CPU 内核本身，最快和最昂贵的 CPU 内核本地缓存层次结构元素（在此不深入研究缓存行及其各自的关联性） level ) 和更便宜且速度更慢的 RAM-memory )，n_jobs = -1 指令在执行的第一个调用签名中将简单地一次获取所有这些资源。

这意味着，对于任何“更深”级别的尝试使用-再次-“尽可能多的资源”作为物理可用的资源（n_jobs = -1 确实如此），将不会有合理的“免费”资源并再次遵守这一点，但是没有第一个未使用的“免费”，在极度“超额订阅”（对于这么少的真实任务超载队列（因此​​绝不是免费的）中只会造成严重破坏。任何不久的将来）资源来利用）O / S的并发任务调度器的调度尝试映射/驱逐/映射/驱逐/映射/驱逐因此在相同的真实（并且已经非常繁忙）硬件元素上进行更多处理作业。

通常即使是第一次尝试也可能在 RAM 分配方面产生麻烦，因为大型模型将需要在进程实例化期间在所有 RAM 数据结构中进行多次复制（有效地使用所有对象制作整个副本，使用或未使用，复制到每个新进程中），因为 CPU 核心的数量“决定”。由此产生的内存交换绝对是您永远不想重复的事情。

享受模型 HyperParameters 的调优 - 这是机器学习实践的精华。值得擅长。