从 Tensorflow 迁移到 PyTorch 时模型定义的注意事项

Question

在调试 tf 感到沮丧后，我最近才切换到 PyTorch，并了解它几乎完全等同于在 numpy 中编码。我的问题是我们可以在 PyTorch 模型中使用哪些允许的 python 方面（完全放在 GPU 上），例如。 if-else 必须在tensorflow中实现如下

a = tf.Variable([1,2,3,4,5], dtype=tf.float32)
b = tf.Variable([6,7,8,9,10], dtype=tf.float32)
p = tf.placeholder(dtype=tf.float32)
ps = tf.placeholder(dtype=tf.bool)

li = [None]*5
li_switch = [True, False, False, True, True]

for i in range(5):
    li[i] = tf.Variable(tf.random.normal([5]))

sess = tf.Session()
sess.run(tf.global_variables_initializer())

def func_0():
    return tf.add(a, p)
def func_1():
    return tf.subtract(b, p)

with tf.device('GPU:0'):
    my_op = tf.cond(ps, func_1, func_0)

for i in range(5):
    print(sess.run(my_op, feed_dict={p:li[i], ps:li_switch[i]}))

上述代码在 pytorch 中的结构会发生怎样的变化？如何将上面的变量和操作放在 GPU 上，并在 pytorch 中将列表输入并行化到我们的图形中？

Answer 1

要在 PyTorch 中初始化 a 和 b 张量，请执行以下操作：

a = torch.tensor([1,2,3,4,5], dtype=torch.float32)
b = torch.tensor([6,7,8,9,10], dtype=torch.float32)

但是，由于您需要它们完全在 GPU 上，您必须使用神奇的 .cuda() 函数。所以，应该是：

a = torch.tensor([1,2,3,4,5], dtype=torch.float32).cuda()
b = torch.tensor([6,7,8,9,10], dtype=torch.float32).cuda()

将张量移动到 GPU

---

另一种初始化方式是：

a = torch.FloatTensor([1,2,3,4,5]).cuda()
b = torch.FloatTensor([6,7,8,9,10]).cuda() 

---

如果我们需要生成随机正态分布，我们使用torch.randn（还有torch.rand，它执行均匀随机分布）。

li = torch.randn(5, 5)

（抓住这个bug，它必须在cuda上初始化，你不能对位于不同处理单元的张量进行操作，即CPU和GPU）

li = torch.randn(5, 5).cuda()

li_switch 初始化没有区别。

处理func_0 和func_1 的一种可能方法是将它们声明为

def func_0(li_value):
    return torch.add(a, li_value)
def func_1(li_value):
    return torch.sub(b, li_value)

那么，对于谓词函数调用，就这么简单：

for i, pred in enumerate(li_switch):
    if pred:
        func_0(li[i])
    else:
        func_1(li[i])

---

但是，我建议将您的操作矢量化并执行以下操作：

li_switch = torch.tensor([True, False, False, True, True])
torch.add(a, li[li_switch]).sum(dim=0)
torch.sub(b, li[~li_switch]).sum(dim=0)

这是更加优化的。

Answer 2

在pytorch中，代码可以像普通python代码一样编写。

CPU

import torch
a = torch.FloatTensor([1,2,3,4,5])
b = torch.FloatTensor([6,7,8,9,10])
cond = torch.randn(5)

for ci in cond:
    if ci > 0:
        print(torch.add(a, 1))
    else:
        print(torch.sub(b, 1))

GPU

像这样将张量移动到 GPU：

a = torch.FloatTensor([1,2,3,4,5]).to('cuda')
b = torch.FloatTensor([6,7,8,9,10]).to('cuda')
cond = torch.randn(5).to('cuda')

import torch.nn as nn

class Cond(nn.Module):
    def __init__(self):
        super(Cond, self).__init__()

    def forward(self, cond, a, b):
        result =  torch.empty(cond.shape[0], a.shape[0]).cuda()
        for i, ci in enumerate(cond):
            if ci > 0:
                result[i] = torch.add(a, 1)
            else:
                result[i] = torch.sub(b, 1)

        return result

cond_model = Cond().to('cuda')
output = cond_model(cond, a, b)

https://pytorch.org/tutorials/beginner/blitz/tensor_tutorial.html#cuda-tensors