TensorFlow GradientDescentOptimizer 未达到预期成本答案

【问题标题】：TensorFlow GradientDescentOptimizer not convering on expected costTensorFlow GradientDescentOptimizer 未达到预期成本
【发布时间】：2017-10-18 06:15:40
【问题描述】：

我正在查看我在 Andrew Ng 的 ML 课程中所做的材料，并尝试在 TensorFlow 中实现它。我能够使用 scipy 的 optimize 函数获得 0.213 的成本，但使用 TensorFlow，它停留在 0.622，与使用初始权重集为零的 0.693 的初始损失相距不远。

我查看了帖子 here 并在我的损失函数中添加了一个 tf.maximum 调用以防止出现 NaN。我不相信这是正确的方法，我确信有更好的方法。我也尝试改用tf.clip_by_value，但这会产生相同的非优化成本。

iterations = 1500

with tf.Session() as sess:
    X = tf.placeholder(tf.float32)
    y = tf.placeholder(tf.float32)
    theta = tf.Variable(tf.zeros([3,1]), dtype=tf.float32)
    training_rows = tf.placeholder(tf.float32)
    z = tf.matmul(X, theta)
    h_x = 1.0 / (1.0 + tf.exp(-z)) 
    lhs = tf.matmul(tf.transpose(-y), tf.log(tf.maximum(1e-5, h_x)))
    rhs = tf.matmul(tf.transpose((1 - y)), tf.log(tf.maximum(1e-5, 1 - h_x)))
    loss = tf.reduce_sum(lhs - rhs) / training_rows
    alpha = 0.001
    optimizer = tf.train.GradientDescentOptimizer(alpha)
    train = optimizer.minimize(loss)

    # Run the session
    X_val, y_val = get_data()
    rows = X_val.shape[0]
    kwargs = {X: X_val, y: y_val, training_rows: rows}
    sess.run(tf.global_variables_initializer())
    sess.run(tf.assign(theta, np.array([0,0,0]).reshape(3,1)))
    print("Original cost before optimization is: {}".format(sess.run(loss, kwargs)))
    print("Optimizing loss function")
    costs = []
    for i in range(iterations):
        optimal_theta, result = sess.run([theta, train], {X: X_val, y: y_val, training_rows: rows})
        cost = sess.run(loss, kwargs)
        costs.append(cost)
    optimal_theta,loss = sess.run([theta, loss], {X: X_val, y: y_val, training_rows: rows})
    print("Optimal value for theta is: {} with a loss of: {}".format(optimal_theta, loss))
    plt.plot(costs)
    plt.show()

我还注意到，任何大于 0.001 的学习率都会导致优化器随着损失而疯狂地来回跳动。这正常吗？最后，当我尝试将迭代次数增加到 25,000 次时，我意识到当降低到 0.53 时的成本。我期待它会在更少的迭代中收敛。

【问题讨论】：

标签： python machine-learning tensorflow

【解决方案1】：

为了弄清楚这一点，学到了很多东西。到目前为止，我还没有意识到损失函数的这一部分可能存在问题：

loss = -y log(h(x)) + (1 - y) (log(1 - h(x)))

如果 h(x)，即 sigmoid 函数结果为 1（如果 z，即 X * theta 变大，就会发生这种情况），那么我们将评估 log(1 - 1) = log (0)，那是无限的。

为了解决这个问题，我不得不使用特征缩放来标准化我对 X 的值。这确保了 X * theta 更小，并且类似地 z，sigmoid 函数不会变成 1。随着 z 变大 e ^-z 趋向于零。因此，使用特征缩放可以确保我们在 z 中的值相对较小，并且 e^-z 将具有一个可以在分母计算中加 1 的实际值：

z = 1 / (1 + e^-(X*theta))

作为参考，特征缩放只是意味着减去平均值并除以范围。

(arr - mean) / (max - min)

【讨论】：