PyTorch：错误>>预期标量类型浮点但发现双

Question

我刚开始使用pytorch，正在尝试一个简单的多层感知器。我的 ReLU 激活函数如下：

def ReLU_activation_func(outputs):
    print(type(outputs))
    result = torch.where(outputs > 0, outputs, 0.)
    result = float(result)
    return result

所以我试图保持大于 0 的值，如果值小于 0，则将值更改为 0。 这是我使用 ReLU 函数的主要代码的一部分（我有错误）：

def forward_pass(train_loader):
    for batch_idx, (image, label) in enumerate(train_loader):
        print(image.size())
        x = image.view(-1, 28 * 28)
        print(x.size())
    
        input_node_num = 28 * 28
        hidden_node_num = 100
        output_node_num = 10
        W_ih = torch.rand(input_node_num, hidden_node_num)
        W_ho = torch.rand(hidden_node_num, output_node_num)
        final_output_n = ReLU_activation_func(torch.matmul(x, W_ih))

当我运行代码时，出现以下错误：

RuntimeError:
1 forward_pass(train_loader)

in forward_pass(train_loader)
-----14         W_ih = torch.rand(input_node_num, hidden_node_num)
-----15         W_ho = torch.rand(hidden_node_num, output_node_num)
---->16         final_output_n = ReLU_activation_func(torch.matmul(x, W_ih))

in ReLU_activation_func(outputs)
-----10     print(type(outputs))
---->11     result = torch.where(outputs > 0, outputs, 0.)
-----12     result = float(result)
-----13     return result

RuntimeError: expected scalar type float but found double

有什么帮助吗？

Answer 1

问题不在result 上，而在X、W_ih 或torch.where(outputs > 0, outputs, 0.) 上。

如果您没有为dtype 的torch.rand() 设置参数，它将根据pytorch 的全局默认值分配dtype。

可以使用torch.set_default_tensor_type()更改全局变量。

或者走简单的路线：

def ReLU_activation_func(outputs):
    print((outputs).dtype)
    result = torch.where(outputs > 0, outputs, torch.zeros_like(outputs)).float()
    return result

# for the forward pass function, convert the tensor to floats before matmul
def forward_pass(train_loader):
    for batch_idx, (image, label) in enumerate(train_loader):
        ... <your code>
        X, W_ih = X.float(), W_ih.float()
        final_output_n = ReLU_activation_func(torch.matmul(x, W_ih))