为什么 SimpleRNN 的参数个数是 10？ [关闭]

Question

这是我的 Python 代码：

 from tensorflow.keras.models import Sequential
 from tensorflow.keras.layers import SimpleRNN

 Model = Sequential([
      SimpleRNN(2, input_shape=(2,2))
 ])

 print(Model.summary())

输出是：

Model: "sequential_23"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
simple_rnn_10 (SimpleRNN)    (None, 2)                 10        
=================================================================
Total params: 10
Trainable params: 10
Non-trainable params: 0
_________________________________________________________________
None

我不明白为什么参数数量是 10。

Answer 1

一个简单的循环层定义为：

在您的代码中，您指定了input_shape=(2,2)，它表示|x|=2。您还设置了|h|=2 并且没有定义输出层。这导致了以下模型：

由于前馈输入（黑色连接）和循环输入（蓝色连接）中的所有内容都是完全连接的，因此您会得到 2x2 矩阵（权重形状为橙色）。偏差是完全连接到每个h 单元的单个值，即每个单元有一个权重（总共 2 个，请参见绿色连接）。

总之：

W_xh是输入矩阵：2x2=4个参数

W_hh 是循环矩阵：2x2=4 个参数

b_h 是偏差：2 个参数

所以总共有 10 个参数。