如果我的任何模型变量是 NaN，我如何检查 TensorFlow？

Question

我的模型是：

weights = {
    'h1': tf.Variable(tf.random_normal([num_input, num_hidden_1]),name="h1"),
    'h2': tf.Variable(tf.random_normal([num_hidden_1, num_hidden_2]),name="h2"),
    'h3': tf.Variable(tf.random_normal([num_hidden_2, num_hidden_3]),name="h3"),
    'wout': tf.Variable(tf.random_normal([num_hidden_3, num_output]),name="wout")
}

biases = {
    'b1': tf.Variable(tf.random_normal([num_hidden_1]),name="b1"),
    'b2': tf.Variable(tf.random_normal([num_hidden_2]),name="b2"),
    'b3': tf.Variable(tf.random_normal([num_hidden_3]),name="b3"),
    'bout': tf.Variable(tf.random_normal([num_output]),name="bout")
}

我知道如何使用tf.is_nan 检查单个元素是否为 NaN：

def save_weights():
    if sess.run(tf.is_nan(sess.run(weights["h1"]).tolist()[0][0])):
        utils.printflush("weights have nan, refused to save")

当然，我可以遍历 Python 中的所有元素，但是对于一百万个权重和偏差，这很耗时。是否有 TensorFlow 操作可以做到这一点（迭代我所有的模型变量）？

Answer 1

您可以使用tf.reduce_any 检查张量的至少一个元素是否不为零。

另一方面，您可能想查看tf.verify_tensor_all_finite，如果在张量上找到 NaN 或无限值，这将中断执行（阅读tf.Assert 的文档以了解如何在图表上使用断言)。

无论如何，请记住所有这些函数（包括tf.is_nan）都会在图中创建新操作。最好首先创建所有操作，然后根据需要调用run，以确保您的图形不会在每次运行时不必要地增长。