将 TensorFlow 损失全局目标 (recall_at_precision_loss) 与 Keras（不是指标）一起使用

Question

背景

我有 5 个标签的多标签分类问题（例如[1 0 1 1 0]）。因此，我希望我的模型在固定召回、精确召回 AUC 或 ROC AUC 等指标上有所改进。

使用与我要优化的性能测量没有直接关系的损失函数（例如binary_crossentropy）是没有意义的。因此，我想使用TensorFlow的global_objectives.recall_at_precision_loss()或类似的损失函数。

• 相关GitHub： https://github.com/tensorflow/models/tree/master/research/global_objectives
• 相关论文（Scalable Learning of Non-Decomposable Objectives）：https://arxiv.org/abs/1608.04802

非公制

我不是在寻找实现tf.metrics。我已经成功了：https://stackoverflow.com/a/50566908/3399066

问题

我认为我的问题可以分为2个问题：

1. 如何使用global_objectives.recall_at_precision_loss()或类似的？
2. 如何在带有 TF 后端的 Keras 模型中使用它？

问题 1

the global objectives GitHub page (same as above) 上有一个名为 loss_layers_example.py 的文件。但是，由于我对 TF 没有太多经验，所以我不太了解如何使用它。此外，谷歌搜索 TensorFlow recall_at_precision_loss example 或 TensorFlow Global objectives example 不会给我任何更清楚的例子。

如何在一个简单的 TF 示例中使用global_objectives.recall_at_precision_loss()？

问题 2

类似（在 Keras 中）：model.compile(loss = ??.recall_at_precision_loss, ...) 就足够了吗？ 我的感觉告诉我它比这更复杂，因为使用了loss_layers_example.py 中使用的全局变量。

如何在 Keras 中使用类似于global_objectives.recall_at_precision_loss() 的损失函数？

Answer 1

我设法使它工作：

• 将张量显式整形为 BATCH_SIZE 长度（参见下面的代码）
• 将数据集大小缩减为 BATCH_SIZE 的倍数

    def precision_recall_auc_loss(y_true, y_pred):
        y_true = keras.backend.reshape(y_true, (BATCH_SIZE, 1)) 
        y_pred = keras.backend.reshape(y_pred, (BATCH_SIZE, 1))   
        util.get_num_labels = lambda labels : 1
        return loss_layers.precision_recall_auc_loss(y_true, y_pred)[0]

Answer 2

与 Martino 的回答类似，但会根据输入推断形状（将其设置为固定的批量大小对我不起作用）。

外部函数不是绝对必要的，但在配置损失函数时传递参数感觉更自然一些，尤其是当你的包装器定义在外部模块中时。

import keras.backend as K
from global_objectives.loss_layers import precision_at_recall_loss

def get_precision_at_recall_loss(target_recall): 
    def precision_at_recall_loss_wrapper(y_true, y_pred):
        y_true = K.reshape(y_true, (-1, 1)) 
        y_pred = K.reshape(y_pred, (-1, 1))   
        return precision_at_recall_loss(y_true, y_pred, target_recall)[0]
    return precision_at_recall_loss_wrapper

那么，在编译模型的时候：

TARGET_RECALL = 0.9
model.compile(optimizer='adam', loss=get_precision_at_recall_loss(TARGET_RECALL))