PyTorch：权重的 Sigmoid？

Question

我是神经网络/PyTorch 的新手。我正在尝试制作一个接收向量x 的网络，第一层是h_j = w_j^T * x + b_j，输出是max_j{h_j}。唯一的事情是我希望 w_j 被限制在 0 和 1 之间，通过使用 w_j = S(k*a_j)，其中 S 是 sigmoid 函数，k 是一些常数，a_j 是实际的权重变量（@ 987654329@ 只是a_j 的一个函数）。我如何在 PyTorch 中做到这一点？我不能只使用torch.nn.Linear 层，必须在权重的 sigmoid 函数中添加其他/附加内容？

附带问题，对于最后一个输出层，我可以使用torch.max 来获得前一层输出的最大值吗？这是否表现良好，或者是否有一些torch.nn.Max 或一些我不明白需要发生的汇集的东西？

谢谢！

Answer 1

我真的不知道你为什么要这样做，但你可以声明一个自定义层，如下所示，将 sigmoid 应用于权重。

class NewLayer(nn.Module): 
    def __init__ (self, input_size, output_size): 
        super().__init__() 
        self.W = nn.Parameter(torch.zeros(input_size, output_size)) 
        # kaiming initialization (use any other if you like)
        self.W = nn.init.kaiming_normal_(self.W) 
        self.b = nn.Parameter(torch.ones(output_size)) 
    def forward(self, x): 
        # applying sigmoid to weights and getting results 
        ret = torch.addmm(self.b, x, torch.sigmoid(self.W)) 
        return ret 

完成此操作后，您可以像在代码中使用线性层一样使用它。