如何在 Tensorflow 中编写自定义损失函数？

Question

我是tensorflow 的新手。我想编写自己的自定义损失函数。有没有关于这个的教程？例如，铰链损失或 sum_of_square_loss（尽管这已经在 tf 中）？ 我可以直接在python中做还是我必须编写cpp代码？

Answer 1

我们需要写下损失函数。例如，我们可以使用基本均方误差作为预测 y 和目标 y_ 的损失函数：

 loss_mse = 1/n(Sum((y-y_)^2))

张量有一些基本函数，如tf.add(x,y)、tf.sub(x,y)、tf.square(x)、tf.reduce_sum(x)、 etc。

然后我们可以在 Tensorflow 中定义我们的损失函数，如下所示：

cost = tf.reduce_mean(tf.square(tf.sub(y,y_)))

注意：y 和 y_ 是张量。

此外，如果我们可以写下方程式，我们可以定义任何其他损失函数。对于一些训练算子（最小化器），损失函数应该满足一些条件（平滑、可微...）。

一言以蔽之，Tensorflow 将数组、常量、变量定义为张量，使用 tf 函数定义计算，使用 session 运行通过图。我们可以定义任何我们喜欢的东西并最终运行它。

Answer 2

除了其他答案，如果可以将损失函数表示为现有函数的组合，您可以在 Python 中编写损失函数。

例如，看一下sigmoid_cross_entropy_with_logits link 的实现，它是使用基本转换实现的。

Answer 3

几乎在所有 tensorflow 教程中，他们都使用自定义函数。例如在beginning tutorial 中他们编写了一个自定义函数：

对当前模型和提供的数据之间的增量平方求和

squared_deltas = tf.square(linear_model - y)
loss = tf.reduce_sum(squared_deltas)

在下MNIST for beginners they use a cross-entropy：

cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))

---

正如您所见，这并不难：您只需将函数编码为张量格式并使用它们的基本函数。

例如，这里是如何实现 F-beta 分数（F1 score 的一般方法）。其公式为：

我们唯一需要做的就是找出如何计算布尔值或 0/1 值的 true_positive、false_positive、false_negative。如果您有 0/1 值的向量，则可以将每个值计算为：

TP = tf.count_nonzero(actual, predicted)
FP = tf.count_nonzero((actual - 1) * predicted)
FN = tf.count_nonzero((predicted - 1) * actual)

现在，一旦你知道了这些值，你就可以很容易地得到你的

denom = (1 + b**2) * TP + b**2 TN + FP
Fb = (1 + b**2) * TP / denom

Answer 4

def focal_loss(y_true, y_pred):
  pt_1 = tf.where(tf.equal(y_true, 1), y_pred, tf.ones_like(y_pred))
  pt_0 = tf.where(tf.equal(y_true, 0), y_pred, tf.zeros_like(y_pred))
  custom_loss=kb.square((pt_1-pt_0)/10)
  return custom_loss    

model.compile(loss=focal_loss,
          optimizer='adam',
          metrics=['accuracy'])

Answer 5

我用 Kullbak-Leibler 散度实现自定义损失函数，其中 p = 常数。 我在自动编码器中使用它。

rho = 0.05

class loss_with_KLD(losses.Loss):
    
    def __init__(self, rho):
        super(loss_with_KLD, self).__init__()
        self.rho = rho
        self.kl = losses.KLDivergence()
        self.mse = losses.MeanSquaredError(reduction=tf.keras.losses.Reduction.SUM)
        
    def call(self, y_true, y_pred):
        mse = self.mse(y_true, y_pred)
        kl = self.kl(self.rho, y_pred)
        return mse + kl

可能对任何人都有帮助。