模型训练阶段：validation_data同数据集答案

【问题标题】：Model training stage: validation_data with the same data set模型训练阶段：validation_data同数据集
【发布时间】：2018-05-02 18:19:06
【问题描述】：

我希望有人向我解释为什么当我使用与训练数据集相同的validation_data 进行训练时，我得到两条不同且不重叠的曲线？

x <- matrix(rnorm(50 * 10), nrow = 50)
y <- matrix(rnorm(50), nrow = 50)

model <- keras_model_sequential()
model %>%
  layer_dense(units = 1, input_shape = dim(x)[2]) %>%
  layer_dropout(rate = 1) %>%
  layer_activation("linear")

model %>% compile(
  loss = "mse",
  optimizer = "adam",
  metrics = "mse"
)

history <- model %>% fit(x, y, batch_size = 1, epochs = 10, verbose = 1, validation_data = list(x, y))
plot(history)

【问题讨论】：

你好，FalconUA 回答了我的问题。

标签： r keras

【解决方案1】：

以下是可能发生这种情况的一些原因：

loss 是在训练期间计算和平均的。这意味着在损失计算之间会有梯度更新，因此小批量的下一个损失是不同模型的损失。另一方面，val_loss 是在训练后计算出来的，相同整个数据集的模型。这就是它们价值不同的原因。

形象地说，是这样的：
```
Epoch 1:
  batch_1 -> nnet_1 -> loss_1 -> optimize nnet_1 to nnet_2
  batch_2 -> nnet_2 -> loss_2 -> optimize nnet_2 to nnet_3
  ...
  batch_n -> nnet_n -> loss_n -> optimize nnet_n-1 to nnet_n
loss = loss_1 + loss_2 + ... + loss_n
val_loss = loss of the nnet_n over whole dataset
```
你看到他们的计算有什么不同吗？
在训练期间（当计算 loss 时），dropout 被启用。训练后（验证阶段，当计算出 val_loss 时，dropout 被禁用。

【讨论】：