仅评估 tf.Tensor 的非零值

Question

我正在训练使用 Keras 训练神经网络，并且我使用自己的度量函数作为损失函数。原因是测试集中的实际值有很多 NaN 值。让我举一个测试集中实际值的例子：

12
NaN
NaN
NaN
8
NaN
NaN
3

在我的数据预处理中，我用零替换了所有的 NaN 值，因此上面的示例在每个 NaN 行上都包含零。

神经网络产生如下输出：

14
12
9
9
8
7
6
3

我只想计算非零值之间的均方根误差。所以对于上面的例子，它应该只计算第 1、5 和 8 行的 RMSE。为此，我创建了以下函数：

from sklearn.metrics import mean_squared_error
from math import sqrt

[...]

def evaluation_metric(y_true, y_pred):

y_true = y_true[np.nonzero(y_true)]
y_pred = y_pred[np.nonzero(y_true)]

error = sqrt(mean_squared_error(y_true, y_pred))
return error

当您手动测试函数时，通过输入测试集中的实际值和使用随机权重初始化的神经网络的输出，它运行良好并产生错误值。我能够使用进化方法来优化权重，并且我能够通过调整网络的权重来优化这个误差度量。

现在，我想使用 Keras 的 model.compile 函数以 evaluation_metric 作为损失函数来训练网络。当我跑步时：

model.compile(loss=evaluation_metric, optimizer='rmsprop', metrics=[evaluation_metric])

我收到以下错误：

TypeError：不允许将tf.Tensor 用作Python bool。使用if t is not None: 而不是if t: 来测试是否定义了张量，并使用TensorFlow ops（如tf.cond）来执行以张量值为条件的子图。

我认为这与np.nonzero 的使用有关。由于我正在使用 Keras，我可能应该使用 Keras 后端的功能，或者使用 tf.cond 之类的东西来检查 y_true 的非零值。

有人可以帮我解决这个问题吗？

编辑

应用以下修复后，代码可以工作：

def evaluation_metric(y_true, y_pred):

    y_true = y_true * (y_true != 0) 
    y_pred = y_pred * (y_true != 0)

    error = root_mean_squared_error(y_true, y_pred)
    return error

以及以下用于计算 tf 对象的 RMSE 的函数：

def root_mean_squared_error(y_true, y_pred):
    return K.sqrt(K.mean(K.square(y_pred - y_true), axis=-1)) 

Answer 1

是的，确实问题在于使用numpy 函数。这是一个快速修复：

def evaluation_metric(y_true, y_pred):

    y_true = y_true * (y_true != 0) 
    y_pred = y_pred * (y_true != 0)

    error = sqrt(mean_squared_error(y_true, y_pred))
    return error

Answer 2

我会自己在 tensorflow 中编写指标，例如：

import tensorflow as tf
import numpy as np


data = np.array([0, 1, 2, 0, 0, 3, 7, 0]).astype(np.float32)
pred = np.random.randn(8).astype(np.float32)
gt = np.random.randn(8).astype(np.float32)

data_op = tf.convert_to_tensor(data)
pred_op = tf.convert_to_tensor(pred)
gt_op = tf.convert_to_tensor(gt)

expected = np.sqrt(((gt[data != 0] - pred[data != 0]) ** 2).mean())


def nonzero_mean(gt_op, pred_op, data_op):
    mask_op = 1 - tf.cast(tf.equal(data_op, 0), tf.float32)

    actual_op = ((gt_op - pred_op) * mask_op)**2
    actual_op = tf.reduce_sum(actual_op) / tf.cast(tf.count_nonzero(mask_op), tf.float32)
    actual_op = tf.sqrt(actual_op)
    return actual_op

with tf.Session() as sess:

    actual = sess.run(nonzero_mean(gt_op, pred_op, data_op))

print actual, expected

y_true != 0 在普通的 Tensorflow 中是不可能的。不确定，如果 keras 在这里有什么魔力。