训练 Tensorflow MLP 以对输入 -1、0 或 1 进行分类时遇到问题

Question

我正在尝试创建一个多层感知器来根据一些指标对情绪进行分类。情绪可以是 -1（差）、0（中性）或 1（好）。我能找到的所有分类器示例都是 one-hot，所以我认为我在调整它以处理连续特征的方式上做错了。

# Data Prep
np.random.shuffle(raw_data)
X_vals = raw_data[:-200,0:4]
Y_vals = [(x,) for x in raw_data[:-200,4]]
X_test = raw_data[-200:,0:4]
Y_test = [(x,) for x in raw_data[-200:,4]]

# Parameters
learning_rate = 0.001
training_epochs = 10
batch_size = 200
display_step = 1

# Network Parameters
n_hidden_1 = 16 # 1st layer number of neurons
n_hidden_2 = 16 # 2nd layer number of neurons
n_input = 4
n_classes = 1

# tf Graph input
X = tf.placeholder("float", [None, n_input])
Y = tf.placeholder("float", [None, n_classes])

# Store layers weight & bias
weights = {
    'h1': tf.Variable(tf.random_normal([n_input, n_hidden_1])),
    'h2': tf.Variable(tf.random_normal([n_hidden_1, n_hidden_2])),
    'out': tf.Variable(tf.random_normal([n_hidden_2, n_classes]))
}
biases = {
    'b1': tf.Variable(tf.random_normal([n_hidden_1])),
    'b2': tf.Variable(tf.random_normal([n_hidden_2])),
    'out': tf.Variable(tf.random_normal([n_classes]))
}


# Create model
def multilayer_perceptron(x):
    # Hidden fully connected layer with 256 neurons
    layer_1 = tf.nn.tanh(tf.add(tf.matmul(x, weights['h1']), biases['b1']))
    # Hidden fully connected layer with 256 neurons
    layer_2 = tf.nn.tanh(tf.add(tf.matmul(layer_1, weights['h2']), biases['b2']))
    # Output fully connected layer with a neuron for each class
    out_layer = tf.matmul(layer_2, weights['out']) + biases['out']
    return out_layer

# Construct model
logits = multilayer_perceptron(X)

# Define loss and optimizer
loss_op = tf.losses.mean_squared_error(labels=Y,
                                        predictions=tf.nn.softmax(logits))
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
train_op = optimizer.minimize(loss_op)

# Initializing the variables
init = tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)

    # Training cycle
    for epoch in range(training_epochs):
        avg_cost = 0.
        total_batch = int(raw_data.shape[0]/batch_size)
        # Loop over all batches
        for i in range(total_batch):
            batch_x = X_vals[epoch*batch_size:(epoch+1)*batch_size]
            batch_y = Y_vals[epoch*batch_size:(epoch+1)*batch_size]
            # Run optimization op (backprop) and cost op (to get loss value)
            _, c = sess.run([train_op, loss_op], feed_dict={X: batch_x,
                                                            Y: batch_y})
            print("Optimization Finished!")

# Test model
pred = tf.nn.softmax(logits)  # Apply softmax to logits
correct_prediction = tf.equal(tf.round(pred), Y)
# Calculate accuracy
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
print("Accuracy:", accuracy.eval({X: X_test, Y: Y_test}))

所以我希望所有这些都应该做的是创建一个 tanh 感知器，它有 2 个隐藏层，每个层有 16 个神经元和一个 softmax 输出层，在除 200 个数据点之外的所有数据点上对其进行训练，然后在最后 200 个数据点上对其进行测试. 它应该吐出 -1 和 1 之间的值，然后我将其四舍五入以根据 -1、0 或 1 的正确标签进行评估。

我想我一定是做错了什么，因为它的结果并不比随机机会好，即使输入和输出之间有 30% 的 Pearson 相关性。这应该很简单。

Answer 1

我注意到您的模型有两个问题。首先，softmax 层将所有数据限制在 [0,1] 范围内，因此您永远不会得到您想要的 -1 值。数据绝对应该像您所说的那样进行一次热编码，因为即使您的模型可以吐出-1，它仍然会非常有偏差并且在测试时不是很准确。所以我会将n_classes 更改为 3，并使索引 0 坏，索引 1 中性，索引 2 好。您的标签应该是 3 向量，其中正确类索引处的向量为 1，其他地方为 0。这表示您希望模型学习的每个类别标签的概率分布。

最后，您使用的是均方误差 (MSE)。这是欧几里得嵌入的一个很好的误差度量（例如，如果你想像 YOLO 那样学习边界框的位置），但它不适用于你想要的概率分布嵌入，因为它测量了欧几里得之间的距离标签和网络输出。你想要的是tf.losses.softmax_cross_entropy。这首先通过 softmax 发送数据，然后计算交叉熵（两个概率分布之间的 KL 散度）。

所以你应该改变

loss_op = tf.losses.mean_squared_error(labels=Y,predictions=tf.nn.softmax(logits))

到

loss_op = tf.losses.softmax_cross_entropy(onehot_labels=Y,logits=logits)

确保在测试期间仍然使用 softmax。

最后，您使用的是 1 对 1 的训练/测试拆分。通常人们会使用 3 比 1 或 3 比 2 之类的值，这样您的训练数据就会多于测试数据，这通常会带来更好的结果。