为什么 q_net 有这么多的输入层？答案

【问题标题】：Why do q_net has this number of input layers?为什么 q_net 有这么多的输入层？
【发布时间】：2021-04-21 08:14:10
【问题描述】：

我正在关注本教程 (https://www.tensorflow.org/agents/tutorials/1_dqn_tutorial?hl=en)，了解如何使用 TF 代理实现深度 Q 网络算法，以使用 RL 解决 Cart Pole。

我创建了q_net：

fc_layer_params = (100,)

q_net = q_network.QNetwork(
    train_env.observation_spec(),
    train_env.action_spec(),
    fc_layer_params=fc_layer_params)

当我使用q_net.summary() 时，它显示网络有 500 个输入层：

    Model: "QNetwork"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
EncodingNetwork (EncodingNet multiple                  500       
_________________________________________________________________
dense_1 (Dense)              multiple                  202       
=================================================================
Total params: 702
Trainable params: 702
Non-trainable params: 0
_________________________________________________________________
time: 3.63 ms (started: 2021-01-16 13:44:09 +00:00)

我想知道为什么输入层的值是 500，如果对于购物车杆环境，我们有 observation_spec 和 action_spec 为：

Observation Spec:
BoundedArraySpec(shape=(4,), dtype=dtype('float32'), name='observation', minimum=[-4.8000002e+00 -3.4028235e+38 -4.1887903e-01 -3.4028235e+38], maximum=[4.8000002e+00 3.4028235e+38 4.1887903e-01 3.4028235e+38])

Action Spec:
BoundedTensorSpec(shape=(), dtype=tf.int64, name='action', minimum=array(0), maximum=array(1))time: 5.24 ms (started: 2021-01-16 13:48:27 +00:00)

这个问题每集的最大时间步长是200，输入层不应该是200吗？

【问题讨论】：

标签： python tensorflow neural-network artificial-intelligence reinforcement-learning

【解决方案1】：

500 是参数个数。如果你在一个 Dense 层中有 4 个输入节点和 100 个第一层节点，那么你就有 4x100 个权重和 100 个偏置，总共 500 个参数。

进一步的解释是here，他们给出了公式（相当于我上面的计算）

output_size * (input_size + 1) == number_parameters

【讨论】：

太棒了！谢谢你。这样，为了记录，同样的逻辑适用于 202 个参数，因为我们有 100 个权重 * 2 个输出层（动作空间）+ 2 个偏差 = 202 个参数，对吧？
@AlexandreKrul 没错