为什么二进制 Keras CNN 总是预测 1？答案

【问题标题】：Why does a binary Keras CNN always predict 1?为什么二进制 Keras CNN 总是预测 1？
【发布时间】：2018-01-04 19:38:42
【问题描述】：

我想使用 Keras CNN 构建一个二元分类器。我有大约 6000 行输入数据，如下所示：

>> print(X_train[0]) 
[[[-1.06405307 -1.06685851 -1.05989663 -1.06273152]
  [-1.06295958 -1.06655996 -1.05969803 -1.06382503]
  [-1.06415248 -1.06735609 -1.05999593 -1.06302975]
  [-1.06295958 -1.06755513 -1.05949944 -1.06362621]
  [-1.06355603 -1.06636092 -1.05959873 -1.06173742]
  [-1.0619655  -1.06655996 -1.06039312 -1.06412326]
  [-1.06415248 -1.06725658 -1.05940014 -1.06322857]
  [-1.06345662 -1.06377347 -1.05890365 -1.06034568]
  [-1.06027557 -1.06019084 -1.05592469 -1.05537518]
  [-1.05550398 -1.06038988 -1.05225064 -1.05676692]]]
>>> print(y_train[0])
[1]

然后我通过这种方式构建了一个 CNN：

model = Sequential()
model.add(Convolution1D(input_shape = (10, 4),
                        nb_filter=16,
                        filter_length=4,
                        border_mode='same'))
model.add(BatchNormalization())
model.add(LeakyReLU())
model.add(Dropout(0.2))

model.add(Convolution1D(nb_filter=8,
                        filter_length=4,
                        border_mode='same'))
model.add(BatchNormalization())
model.add(LeakyReLU())
model.add(Dropout(0.2))

model.add(Flatten())

model.add(Dense(64))
model.add(BatchNormalization())
model.add(LeakyReLU())

model.add(Dense(1))
model.add(Activation('softmax'))

reduce_lr    = ReduceLROnPlateau(monitor='val_acc', factor=0.9, patience=30, min_lr=0.000001, verbose=0)

model.compile(optimizer='adam', 
              loss='binary_crossentropy',
              metrics=['accuracy'])

history = model.fit(X_train, y_train, 
          nb_epoch = 100, 
          batch_size = 128, 
          verbose=0, 
          validation_data=(X_test, y_test),
          callbacks=[reduce_lr],
          shuffle=True)

y_pred = model.predict(X_test)

但它返回以下内容：

>> print(confusion_matrix(y_test, y_pred))
[[  0 362]
 [  0 608]]

为什么所有预测都是 1？为什么CNN表现如此糟糕？这是损失和acc图表：

【问题讨论】：

大约2/3的时间是正确的；我看到输入数据接近常数-1.06。如果这适用于所有数据，则可能只是它无法对输入空间进行分区并优化哪个类出现最多，因为这是最好的选择（尽管我认为您的规范化调用可能会解决该问题）。如果没有工作示例，我无法验证这一点。
干杯！我尝试将学习率从 0.001 更改为 0.1，但我得到了相同的输出。 :(还有什么想法吗？

标签： python machine-learning tensorflow keras keras-layer

【解决方案1】：

由于网络中的输出，它总是预测一个。你有一个带有一个神经元的 Dense 层，带有一个 Softmax 激活。 Softmax 通过每个输出的指数之和进行归一化。由于只有一个输出，因此唯一可能的输出是 1.0。

对于二元分类器，您可以使用带有“binary_crossentropy”损失的 sigmoid 激活，或者将两个输出单元放在最后一层，继续使用 softmax 并将损失更改为 categorical_crossentropy。

【讨论】：

谢谢！奇迹般有效！ :) sigmoid + binary 和 softmax + categorical 有什么区别吗？
@harrison4 理论上它们是相同的，但在实践中存在差异，至少我所做的一些测试表明softmax更胜一筹。
仅作记录，在我的测试中，架构稍深一些，我有：sigmoid + binary_crossentropy：val_acc = 0.9422val_loss = 0.16val_rmse = 0.0909softmax + sparse_categorical_crossentropy：val_acc = 0.9409val_loss = 0.1725@ 987654326@ 似乎 sigmoid 的表现要好一些（在 rmse 中不是那么小）。