RNNlib中参数的含义答案

【问题标题】：Meaning of parameters in RNNlibRNNlib中参数的含义
【发布时间】：2014-12-17 00:52:55
【问题描述】：

我是研究循环神经网络的新手，现在对 RNNLib 中的参数感到困惑。具体来说，我不了解隐藏块、隐藏大小、输入块、子样本大小和 mdl 的东西。根据我的经验，我只有输入向量、一个 lstm 隐藏层和一个 softmax 输出层。为什么块看起来像一个矩阵？

【问题讨论】：

您应该阅读代码以了解rnnlib的许多参数。

标签： machine-learning neural-network

【解决方案1】：

RNNLib 实现了一种新型的 RNN，即所谓的“多维循环神经网络”。以下 RNNLib 页面上的参考资料解释说：Alex Graves、Santiago Fernández 和 Jürgen Schmidhuber.Multidimensional recurrent neural networks 人工神经网络国际会议，2007 年 9 月，波尔图。这个扩展是为处理图像、视频等而设计的。如论文中所述：

“MDRNNs 的基本思想是替换标准中的单个循环连接具有与数据中的维度一样多的循环连接的 RNN。在前向传播过程中，在数据序列中的每个点，网络的隐藏层从后退一步接收外部输入和它自己的激活所有维度”

我认为，这就是您能够使用多维输入的原因。如果你想像往常一样使用 RNNLib 一维 RNN，只需为输入和 LSTM 块指定一维即可。

MDL 代表“最小描述长度”成本函数，用于近似贝叶斯推理（一种正则化 NN 的方法）。如果你想使用它，最好阅读 RNNLib 网站上提供的原始参考资料。否则，我认为，它可以被忽略。

【讨论】：

由于 Graves 是 rnnlib 的作者，因此真的值得花时间阅读他的 RNN 论文。