PyTorch - 自定义 ReLU 平方实现答案

【问题标题】：PyTorch - Custom ReLU squared ImplementationPyTorch - 自定义 ReLU 平方实现
【发布时间】：2020-05-02 03:16:02
【问题描述】：

我从事一个项目，我想实现 ReLU 平方激活函数 (max{0,x^2})。可以这样称呼吗：

# example code
    def forward(self, x):
        s = torch.relu(x**2)
        return s

或者我应该自己实现激活功能？在第二种情况下，您能否提供一个示例来说明如何操作？

非常感谢！

【问题讨论】：

【解决方案1】：

你应该使用

s = torch.relu(torch.pow(x, 2))

相反。但除此之外，这很好。

【讨论】：

【解决方案2】：

计算max(0, x**2) 没有多大意义，因为无论如何x**2 >= 0。

您可能想要计算 max(0, x) ** 2 代替：

s = torch.pow(torch.relu(x), 2)

【讨论】：