PyTorch 中带有 dropout 正则化的逻辑回归

Question

我想使用 dropout 正则化实现逻辑回归，但目前唯一可行的示例如下：

class logit(nn.Module):
    def __init__(self, input_dim = 69, output_dim = 1):
        super(logit, self).__init__()
    
        # Input Layer (69) -> 1
        self.fc1 = nn.Linear(input_dim, input_dim)
        self.fc2 = nn.Linear(input_dim, 1)
 
        self.dp = nn.Dropout(p = 0.2)
      
      
    # Feed Forward Function
    def forward(self, x):
        x = self.fc1(x)
        x = self.dp(x)
        x = torch.sigmoid(self.fc2(x))
        
        return x

现在在层之间设置 dropout 的问题是，最后我不再有逻辑回归（如果我错了，请纠正我）。

我想做的是在输入级别退出。

Answer 1

实际上，你仍然有一个逻辑回归，而 dropout 保持原样。

fc1 和 fc2 之间的 dropout 将丢弃fc1 产生的一些input_dim 功能（与p=0.2），要求fc2 对它们的缺失保持稳健。这个事实不会改变模型输出的 logit。此外，请记住，在测试时，（通常）会禁用 dropout。

请注意，您也可以在输入级别应用 dropout：

    def forward(self, x):
        x = self.dp(x)
        x = self.fc1(x)
        x = self.dp(x)
        x = torch.sigmoid(self.fc2(x))

在这种情况下，fc1 必须对某些输入特征的缺失具有鲁棒性。