表征股票市场神经网络的 Keras 损失和准确性答案

【问题标题】：Characterising Keras Loss And Accuracy For Stock Market Neural Network表征股票市场神经网络的 Keras 损失和准确性
【发布时间】：2020-01-05 04:40:58
【问题描述】：

我最近尝试完成一个神经网络来预测股票市场上个股价格的波动，利用 Keras 作为网络框架和 Quandl 来检索历史调整后的股票价格；在运行这个程序时，我主要利用了程序范式和单个教程中显示的信息，链接如下所示：

https://www.youtube.com/watch?v=EYnC4ACIt2g&t=2079s

但是，本教程使用了“sklearn”线性回归模块；我修改了程序以使用 Keras，它具有更大的定制能力。程序如下所示：

import tensorflow as tf
import keras
import numpy as np
import quandl
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

df = quandl.get("WIKI/FB")
df = df[['Adj. Close']]
forecast_out = 1
df['Prediction'] = df[['Adj. Close']].shift(-(forecast_out))

X = np.array(df.drop(['Prediction'], 1))
X = X[:-forecast_out]

y = np.array(df['Prediction'])
y = y[:-forecast_out]
x_train, x_test, y_train, y_test = train_test_split(X, y, test_size = 0.2) 

model = keras.models.Sequential()
model.add(keras.layers.Dense(units = 64, activation = 'relu'))
model.add(keras.layers.Dense(units = 1, activation = 'linear'))

model.compile(loss='mean_absolute_error',
              optimizer='adam',
              metrics=['accuracy'])

model.fit(x_train, y_train, epochs=5, batch_size=32, validation_split = 0.2)

x_forecast = np.array(df.drop(['Prediction'], 1))[-forecast_out:]
print(x_forecast)

prediction = model.predict(x_train)

但是，在通过 model.fit() 命令使用提供的测试信息运行模型时，我收到了每个时期的损失和准确度的显示：

Train on 940 samples, validate on 236 samples
Epoch 1/5
940/940 [==============================] - 1s 831us/step - loss: 85.4464 - acc: 0.0000e+00 - val_loss: 76.7483 - val_acc: 0.0000e+00
Epoch 2/5
940/940 [==============================] - 0s 51us/step - loss: 65.6871 - acc: 0.0000e+00 - val_loss: 55.4325 - val_acc: 0.0000e+00
Epoch 3/5
940/940 [==============================] - 0s 52us/step - loss: 43.3484 - acc: 0.0000e+00 - val_loss: 30.5538 - val_acc: 0.0000e+00
Epoch 4/5
940/940 [==============================] - 0s 47us/step - loss: 16.5076 - acc: 0.0011 - val_loss: 1.3096 - val_acc: 0.0042
Epoch 5/5
940/940 [==============================] - 0s 47us/step - loss: 2.0529 - acc: 0.0043 - val_loss: 1.1567 - val_acc: 0.0000e+00
<keras.callbacks.History at 0x7ff1dfa19470>

鉴于我在测试此类范例方面的经验相对较少，我更想知道这种准确性是否令人满意；损失和准确率参数是否表明模型运行良好？它们之间有什么区别，人们如何阅读它们？最后，Keras 是如何描述它们的？该模块的文档似乎没有提供足够数量的信息；然而，这可能是我对他们的检查。感谢您的帮助。

【问题讨论】：

我投票结束这个问题，因为这显然是一个统计/机器学习问题，而不是编程问题，并且代码运行没有任何错误或问题。

标签： python machine-learning keras neural-network quandl

【解决方案1】：

您可能会在CrossValidated 上获得有关神经网络/ML 的更好答案，但我可以在这里为您提供帮助。

一般来说，很难判断神经网络是否“正常”运行——因此，根据我的经验，ML 开发是一个非常迭代的过程，需要根据有根据的统计/数学猜测进行反复试验。

让我们先对指标做一个高层次的概述：

Loss = how far "off" the model's prediction is from your data.

Accuracy = % of predictions that your model got "right"; i.e. if your model is a function, model(x) = y for a particular data point.

令人满意的“准确性”是主观的，并且在很大程度上取决于应用程序/模型/您的数据。但是，由于您正在尝试预测股票价格；即一个连续变量，您正在做回归，我使用准确度之类的指标没有多大意义。我可以告诉你，你正在通过你的问题公式进行回归——线性激活也是一个强有力的提示。

要了解为什么准确性没有意义，如果我根据某些因素来预测房价，我可能不在乎有多少预测是完全正确的，而是更关心我的预测总体上有多接近。如果我的回归模型对每个房价减 1 美元，我的准确度仍然为 0，但我可能仍然有一个好的模型。

相反，最小化损失函数可能是一种更好的思考方式。可以这样想：总体而言，您希望输入变量的某些函数与真实输出“接近”。对于linear regression，损失函数是 LMS（最小均方），它本质上是残差的平均平方距离。在这里，您使用平均绝对误差，它只是差值的平均绝对值。两种损失函数都有利有弊，我鼓励您为您的应用程序研究这一点。

您的误差正在减少这一事实是好的：这意味着您的模型所逼近的函数越来越接近训练数据（残差正在减少）。您的验证损失也不大于训练数据，这表明您也没有过度拟合数据。我鼓励你继续尝试。

【讨论】：