【问题标题】:Scikit-learn train_test_split inside multiprocessing pool on Linux (armv7l) does not workLinux(armv7l)上多处理池中的 Scikit-learn train_test_split 不起作用
【发布时间】:2019-02-17 02:25:51
【问题描述】:

在 Rasbperry Pi 3 上运行 Python 时,我在多处理池中使用 train_test_split 时遇到了一些奇怪的行为。

我有这样的事情:

def evaluate_Classifier(model,Features,Labels,split_ratio):

  X_train, X_val, y_train, y_val = train_test_split(Features,Labels,test_size=split_ratio)
...


iterations=500
pool = multiprocessing.Pool(4)
results = [pool.apply_async(evaluate_Classifier, args=(w,Current_Features,Current_Labels,0.35)) for i in range(iterations)]
output = [p.get() for p in results]
pool.close()
pool.join()

现在上述代码在 Windows 7 Python 3.5.6 上完美运行,实际上 4 个线程中的每一个线程都会有不同的训练/测试拆分。

但是,当我在 Raspberry Pi 3 (scikit-learn 0.19.2) 上运行它时,似乎 4 个线程以完全相同的方式拆分数据,因此所有线程都产生完全相同的结果。接下来的 4 个线程将再次拆分数据(这次不同),但它们之间的方式仍然完全相同,依此类推....

我什至尝试使用带有 random_state=np.random.randint 的 train_test_split,但它没有帮助。

任何想法为什么这在 Windows 中有效,但在树莓派 3 上似乎不能正确并行化?

非常感谢

【问题讨论】:

    标签: python scikit-learn raspberry-pi multiprocessing train-test-split


    【解决方案1】:

    您应该尝试在拆分之前对数据进行混洗,而不是设置随机状态。您可以通过设置参数来做到这一点:shuffle=True。

    【讨论】:

      【解决方案2】:

      shuffle 默认是开启的,所以即使使用 shuffle=True 也没有什么不同。 如果可能的话,我还想在并行函数中拆分数据。

      实际上,一些挖掘我发现这是因为 Windows 和 Linux 如何处理多个线程和子进程的资源等。 上述问题的最佳解决方案如下:

      def evaluate_Classifier(model,Features,Labels,split_ratio,i):
      
      X_train, X_val, y_train, y_val =   train_test_split(Features,Labels,test_size=split_ratio,random_state=i)
      ...
      
      
      iterations=500
      pool = multiprocessing.Pool(4)
      results = [pool.apply_async(evaluate_Classifier,   args=(w,Current_Features,Current_Labels,0.35, i)) for i in range(iterations)]
      output = [p.get() for p in results]
      pool.close()
      pool.join()
      

      这会很好用,并且为了在不同的代码运行之间增加一点随机性,我们可以在函数之外使用一些随机数生成器而不是 i

      【讨论】:

      • 我今天注意到我的代码中也发生了这种情况;基于 Linux 多进程的方式,我猜测这是因为 RNG 种子原样复制到所有子进程。但是,我不知道的是:何时 RNG 被初始化?我们导入sklearn的时候对吗?
      猜你喜欢
      • 2012-10-15
      • 2020-01-05
      • 2015-07-14
      • 2023-03-06
      • 2020-07-14
      • 2018-05-18
      • 1970-01-01
      相关资源
      最近更新 更多