【问题标题】:Weighted hinge loss function加权铰链损失函数
【发布时间】:2019-09-09 07:39:45
【问题描述】:

我将我的普通铰链损失定义为:

def hinge(y_true, y_pred):    
    return tf.maximum(0., 1- y_true*y_pred)

我正在训练 SVM 来预测事件。我的y 值是1,如果它是那个类,或者-1,如果它不是那个类。我的班级不平衡,我的-1 比+1 多得多。

因此,我想加权损失+1 以提高惩罚。但我不知道我会如何改变我的铰链损失。我能想到的最好的是,

X = (# of non event samples) / (# of event samples)
if(y_true*y_pred > 0):
    return tf.maximum(0., 1- y_true*y_pred)*X

这意味着,如果我有 100 个非事件和 10 个事件,那么 X = 100/10 = 10。 如果y_true = 1,则损失为hingeloss*10。

这是正确的还是有更好的方法来做到这一点?

【问题讨论】:

    标签: python tensorflow machine-learning loss-function


    【解决方案1】:

    怎么样:

    def hinge(y_true, y_pred):    
        return tf.multiply((11/9+y_true)*9/2,tf.maximum(0., 1- y_true*y_pred))
    

    这里的逻辑是,如果 y_true 为 1,我们要乘以 10,如果是 -1,我们要乘以 1。您可以检查当y_true 为-1 时,(11/9+y_true)*9/2 计算结果为 1,当它为 1 时计算结果为 10。如果您有兴趣知道如何在表达式中推导出 11/9,它是求解所需位移 s 的线性方程的结果:

    10(s + (-1))=1(s+1)。

    【讨论】:

    • 嗯,有趣的想法。但这表明我知道我想乘以 10。我首先对如何获得 10 感兴趣。通过对这两个类进行反向加权,我得到了 10。但是如果类不平衡是 1000 和 10,那么你的等式变成 100(s+(-1)) =s+1。而且,左边的系数是我真正想要的。
    • 如何正确选择该系数。
    • 您可能会在精确度和召回率之间进行权衡,您可以尝试通过交叉验证选择能够最大化您的 F1 分数 en.wikipedia.org/wiki/F1_score 的那个,或者选择一个精确度阈值并最大化召回率以得到至少有这么多的精度。
    • 您也可以按照您的建议按每个类中元素的反比对它们进行加权,尽管在您的示例中为 (100+10)/10=11。我不知道你会得到什么精确度和召回率,但我想它会更加平衡。
    猜你喜欢
    • 2019-04-14
    • 2021-09-09
    • 2020-03-11
    • 2016-03-23
    • 2019-06-08
    • 1970-01-01
    • 2019-09-17
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多