【发布时间】:2022-01-10 20:45:46
【问题描述】:
我正在训练一个深度神经网络模型,我们称之为模型 A,在我的主要训练脚本 train.py 中使用 tf.keras。 此 train.py 导入 utils.py,其中定义了为训练过程提供数据的数据生成器。 utils.py 还导入 other_utils.py,其中创建并初始化了预训练的深度 NN 模型 -MODEL B-,因为数据生成器使用它来处理训练数据。
MODEL B 的初始化已经使用了大部分 GPU 内存,让我没有足够的资源来训练 MODEL A。
导入架构如下:
train.py (MODEL A) --> utils.py (data generator) --> other_utils.py (MODEL B)
所以我想在 CPU 上运行 MODEL B 并生成数据,并在 GPU 上训练 MODEL A。
为了防止MODEL B使用GPU,我尝试在other_utils.py上设置环境变量
os.environ["CUDA_VISIBLE_DEVICES"] = "-1"
然后在 utils.py 和 train.py 上重新设置,然后导入 tensorflow
os.environ["CUDA_VISIBLE_DEVICES"] = "0"
import tensorflow
虽然设置 CUDA_VISIBLE_DEVICES = -1 会禁用 MODEL B 的 GPU,但它也会禁用 GPU 以供进一步使用,并在 train.py 上将其设置回 CUDA_VISIBLE_DEVICES = 0,然后导入 tensorflow 不会重新启用它。
那么如何在 CPU 上使用 MODEL B,在 GPU 上使用 MODEL A?
【问题讨论】:
标签: python tensorflow keras deep-learning