【问题标题】:Keras + multiprocessing - correctly generating sessions, but only one processorKeras + 多处理 - 正确生成会话,但只有一个处理器
【发布时间】:2019-10-04 22:31:46
【问题描述】:

我对 Keras 和多处理有疑问。我已经搜索了很多,发现了很多相同主题的问题:

(还有更多)

我尝试了这些解决方案,所以基本上是在多处理实例化后导入 Keras。实际上,我看到了这条消息:

Using TensorFlow backend.
Using TensorFlow backend.
Using TensorFlow backend.
Using TensorFlow backend.
Using TensorFlow backend.
Using TensorFlow backend.
Using TensorFlow backend.
Using TensorFlow backend.
Using TensorFlow backend.
Using TensorFlow backend. 

在此消息仅打印一次之前,因此我假设后端不同,但是,我的进程在同一内核上运行。如果再次运行主进程,它会创建更多在同一处理器中运行的进程。似乎有些东西阻止了不同处理器上的执行。

知道如何解决它吗?

PS:我正在使用我链接的第二个解决方案,特别是以下:

DO NOT LOAD KERAS TO YOUR MAIN ENVIRONMENT

【问题讨论】:

    标签: python tensorflow keras multiprocessing


    【解决方案1】:

    问题出在tensorflowkeras 的安装上。实现并行化的方法是正确的。

    tensorflow 文档明确指出,强烈建议使用 pip 安装软件包,因为 conda 软件包仅由社区 (https://www.tensorflow.org/install/pip) 维护。

    我解决了卸载 kerastensorflow 并重新安装它们的问题:

    pip install tensorflow
    pip install keras
    

    【讨论】:

      猜你喜欢
      • 2016-05-19
      • 2012-07-18
      • 1970-01-01
      • 2011-04-11
      • 1970-01-01
      • 2013-10-01
      • 1970-01-01
      • 1970-01-01
      • 2018-12-06
      相关资源
      最近更新 更多