我正在尝试在 keras 模型中使用 huber 损失（编写 DQN），但我得到了不好的结果，我认为我做错了什么。我的是代码如下。
model = Sequential()
model.add(Dense(output_dim=64, activation='relu', input_dim=state_dim))
model.add(Dense(output_dim=number_of_actions, activation='linear'))
loss = tf.losses.huber_loss(delta=1.0)
model.compile(loss=loss, opt='sgd')
return model
【问题讨论】：
标签： python tensorflow keras reinforcement-learning
我带着完全相同的问题来到这里。接受的答案使用logcosh，它可能具有相似的属性，但它不完全是 Huber Loss。以下是我为 Keras 实现 Huber Loss 的方法（请注意，我使用的是来自 Tensorflow 1.5 的 Keras）。
import numpy as np
import tensorflow as tf
'''
' Huber loss.
' https://jaromiru.com/2017/05/27/on-using-huber-loss-in-deep-q-learning/
' https://en.wikipedia.org/wiki/Huber_loss
'''
def huber_loss(y_true, y_pred, clip_delta=1.0):
error = y_true - y_pred
cond = tf.keras.backend.abs(error) < clip_delta
squared_loss = 0.5 * tf.keras.backend.square(error)
linear_loss = clip_delta * (tf.keras.backend.abs(error) - 0.5 * clip_delta)
return tf.where(cond, squared_loss, linear_loss)
'''
' Same as above but returns the mean loss.
'''
def huber_loss_mean(y_true, y_pred, clip_delta=1.0):
return tf.keras.backend.mean(huber_loss(y_true, y_pred, clip_delta))
根据你是想减少损失还是损失的均值，使用上面对应的函数。
【讨论】：
huber 重命名为 logcosh 以准确反映 Keras 的损失函数。 AFAIK，Keras 仍然没有 Huber Loss，所以对于那些有兴趣使用它的人来说，我的功能应该是正确的。
您可以将 Tensorflow 的 tf.losses.huber_loss 包装在自定义 Keras 损失函数中，然后将其传递给您的模型。
包装器的原因是 Keras 只会将 y_true, y_pred 传递给损失函数，并且您可能还希望将许多参数中的一些参数传递给 tf.losses.huber_loss。因此，您需要某种闭包，例如：
def get_huber_loss_fn(**huber_loss_kwargs):
def custom_huber_loss(y_true, y_pred):
return tf.losses.huber_loss(y_true, y_pred, **huber_loss_kwargs)
return custom_huber_loss
# Later...
model.compile(
loss=get_huber_loss_fn(delta=0.1)
...
)
【讨论】：
loss=tf.losses.huber_loss？
delta 至少所以你需要一个包装器来传递它。
我正在查看 keras 的损失。显然 logcosh 具有与 huber loss 相同的属性。更多相似之处可见here。
【讨论】：
怎么样：
loss=tf.keras.losses.Huber(delta=100.0)
【讨论】：