【发布时间】:2019-11-27 22:59:43
【问题描述】:
我正在 GPU 上执行一个 PyTorch 函数 n_iters 次。目前我正在为此使用for循环。但是,当 n_iters 很大时,这是非常低效的。我想知道是否存在具有 parallel_iterations 功能的 tf.map_fn PyTorch 等价物,以便我可以并行执行所有迭代?
【问题讨论】:
标签: tensorflow pytorch
我正在 GPU 上执行一个 PyTorch 函数 n_iters 次。目前我正在为此使用for循环。但是,当 n_iters 很大时,这是非常低效的。我想知道是否存在具有 parallel_iterations 功能的 tf.map_fn PyTorch 等价物,以便我可以并行执行所有迭代?
【问题讨论】:
标签: tensorflow pytorch
我进行了深入搜索,但在 pytorch 中找不到任何与 tf.map_fn 等效的函数,该函数公开了用户设置的并行迭代次数。
在探索的过程中,我发现有一个名为“nn.DataParallel”的函数,但该函数复制了您要在多个 gpus 上运行的模型或操作,然后返回的结果不等同于 tf.map_fn 中的并行迭代次数。
但目前在 Pytorch 中,使用 for 循环是目前唯一可行的方法。
【讨论】: