Tensorflow 中的 Pairwise Ranking Loss 函数答案

【问题标题】：Pairwise Ranking Loss function in TensorflowTensorflow 中的 Pairwise Ranking Loss 函数
【发布时间】：2019-11-05 16:24:34
【问题描述】：

我正在 Tensorflow CR-CNN 中实施这篇论文。论文中使用的损失函数具有依赖于张量的运行时间值和真实标签的术语。据我所知，Tensorflow 创建了一个静态计算图，然后在会话中执行它。我发现很难实现本文中提到的预测和损失函数，因为它们都在运行时动态变化。我尝试在我的代码中使用 tf.cond() 但这导致“无”作为渐变。因此我的网络根本没有得到训练。

class_scores = tf.matmul(pooled, W_classes)

n_correct = tf.Variable(0, trainable=True)

for t in xrange(batch_size):
    max_arg = tf.cast(tf.argmax(class_scores[t], 1), tf.int32)
    #true_class = tf.constant(0)
    true_class = tf.cast(tf.argmax(Y[t], 1), tf.int32)

    pred_class = tf.Variable(0,trainable=True)
    value = class_scores[t][max_arg]
    tf.cond(value <= 0, lambda: tf.assign(pred_class, 0), lambda: tf.assign(pred_class, max_arg + 1))
    tf.cond(tf.equal(true_class, pred_class), lambda: tf.add(n_correct, 1), lambda: tf.add(n_correct, 0))

    #print(value)

accuracy = tf.cast(n_correct, tf.float32)/tf.cast(batch_size, tf.float32)

这里我通过计算正确预测的数量来计算准确性。

损失函数的类似方法：

gamma = tf.constant(2.0) 
m_plus = tf.constant(2.5)   
m_minus = tf.constant(0.5)

batch_loss = tf.Variable(0.0, trainable=True)


for t in xrange(batch_size):
    max_arg = tf.cast(tf.argmax(class_scores[t], 1), tf.int32)
    true_class = tf.cast(tf.argmax(Y[t], 1), tf.int32)

    top2_val, top2_i = tf.nn.top_k(class_scores[t], 2, sorted=True)  

    pred_class = tf.Variable(0, trainable=True)
    true_score = tf.Variable(0.0, trainable=True)
    neg_score = tf.Variable(0.0, trainable=True)

    value = class_scores[t][max_arg]

    tf.cond(value <= 0, lambda: tf.assign(pred_class, 0), lambda: tf.assign(pred_class, max_arg + 1))

    tf.cond(tf.equal(true_class, 0), lambda: tf.assign(true_score, 0), lambda: tf.assign(true_score, class_scores[t][true_class-1]))

    tf.cond(tf.equal(true_class, 0), lambda: tf.assign(neg_score, value), lambda: tf.cond(tf.equal(true_class, pred_class), 
                lambda: tf.assign(neg_score, top2_val[1]), lambda: tf.assign(neg_score, value)))

    example_loss = tf.Variable(0.0, trainable=True) 

    tf.cond(tf.equal(true_class, 0), lambda: tf.assign(example_loss, tf.log(1 + tf.exp(tf.multiply(gamma, m_minus + neg_score)))), 
                    lambda: tf.assign(example_loss, tf.log(1 + tf.exp(tf.multiply(gamma, m_plus - true_score))) + tf.log(1 + tf.exp(tf.multiply(gamma, m_minus + neg_score)))))
    batch_loss = tf.add(batch_loss, example_loss)

    #print(neg_score)

batch_loss = batch_loss/batch_size
train_step = tf.train.GradientDescentOptimizer(learning_rate=lambda_t).minimize(batch_loss)

但是网络没有得到训练。谁能建议如何在 tensorflow 中做到这一点？

【问题讨论】：

标签： python tensorflow machine-learning deep-learning

【解决方案1】：

此代码存在一些问题，并且按原样无法正常工作。我建议您尝试使用 TensorFlow Eager Execution，因为您在此处遇到的概念问题在此处不存在（例如，您不需要 tf.cond 或 tf.Variable 来解决您的问题）。

这个代码示例如何使用tf.cond 的问题在于tf.cond 本质上是功能性的（它将操作添加到仅当您使用tf.cond 的返回值时才会执行的图形）。所以你的代码需要以某种方式链接tf.conds（可能通过tf.control_dependencies）以使它们执行。

但是，您在训练示例中也使用了tf.Variables。 Tensorflow 无法通过对tf.Variable 的赋值进行反向传播，因此您需要替换对tf.assign 和朋友的调用，返回变量的新值并从python 中使用它。

【讨论】：