TensorflowJS 拟合时，损失为 NaN答案

【问题标题】：TensorflowJS while fitting, loss is NaNTensorflowJS 拟合时，损失为 NaN
【发布时间】：2018-08-27 13:36:36
【问题描述】：

我正在尝试使用 TensorflowJS 制作相同的 Python 版本的 Tensorflow 示例。不幸的是，当我运行脚本时，我不知道为什么训练时记录的损失值是 NaN。

我想要实现的是一个简单的文本分类，它根据经过训练的模型返回 0 或 1。这是我关注的 Python 教程https://www.tensorflow.org/hub/tutorials/text_classification_with_tf_hub

这就是我目前翻译的代码：

import * as tf  from '@tensorflow/tfjs'

// Load the binding:
//require('@tensorflow/tfjs-node');  // Use '@tensorflow/tfjs-node-gpu' if running with GPU.

// utils
const tuple = <A, B>(a: A, b: B): [A, B] => [a, b]

// prepare the data, first is result, second is the raw text
const data: [number, string][] = [
    [0, 'aaaaaaaaa'],
    [0, 'aaaa'],
    [1, 'bbbbbbbbb'],
    [1, 'bbbbbb']
]

// normalize the data
const arrayFill = [-1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1]
const normalizeData = data.map(item => {
    return tuple(item[0], item[1].split('').map(c => c.charCodeAt(0)).concat(arrayFill).slice(0, 10))
})

const xs = tf.tensor(normalizeData.map(i => i[1]))
const ys = tf.tensor(normalizeData.map(i => i[0]))

console.log(xs)

// Configs
const LEARNING_RATE = 1e-4

// Train a simple model:
//const optimizer = tf.train.adam(LEARNING_RATE)
const model = tf.sequential();
model.add(tf.layers.embedding({inputDim: 1000, outputDim: 16}))
model.add(tf.layers.globalAveragePooling1d({}))
model.add(tf.layers.dense({units: 16, activation: 'relu'}))
model.add(tf.layers.dense({units: 1, activation: 'sigmoid'}))
model.summary()
model.compile({optimizer: 'adam', loss: 'binaryCrossentropy', metrics: ['accuracy']});

model.fit(xs, ys, {
  epochs: 10,
  validationData: [xs, ys],
  callbacks: {
    onEpochEnd: async (epoch, log) => {
      console.log(`Epoch ${epoch}: loss = ${log.loss}`);
    }
  }
});

(here pure JS code) 这就是我得到的输出

_________________________________________________________________
Layer (type)                 Output shape              Param #
=================================================================
embedding_Embedding1 (Embedd [null,null,16]            16000
_________________________________________________________________
global_average_pooling1d_Glo [null,16]                 0
_________________________________________________________________
dense_Dense1 (Dense)         [null,16]                 272
_________________________________________________________________
dense_Dense2 (Dense)         [null,1]                  17
=================================================================
Total params: 16289
Trainable params: 16289
Non-trainable params: 0
_________________________________________________________________
Epoch 0: loss = NaN
Epoch 1: loss = NaN
Epoch 2: loss = NaN
Epoch 3: loss = NaN
Epoch 4: loss = NaN
Epoch 5: loss = NaN
Epoch 6: loss = NaN
Epoch 7: loss = NaN
Epoch 8: loss = NaN
Epoch 9: loss = NaN

【问题讨论】：

你在哪个环境运行你的代码？

标签： javascript tensorflow machine-learning tensorflow.js

【解决方案1】：

损失或预测可以变成 NaN。这是vanishing gradient 问题的结果。在训练期间，梯度（偏导数）可以变得非常小（趋于 0）。 binarycrossentropy 损失函数在计算中使用对数。并且根据涉及对数的数学运算，结果可能是 NaN。

如果模型的权重变为 NaN，则预测 ŷ 也很可能变为 NaN，因此损失。可以调整 epoch 的数量来避免这个问题。另一种解决问题的方法可能是更改损失函数或优化器函数。

话虽如此，您的代码的损失不是NaN。这是stackblitz 上的代码执行。另外，请注意以下answer，其中正在对模型进行校正，以免预测 NaN

【讨论】：