【发布时间】:2017-05-30 04:43:17
【问题描述】:
我想重现一个循环神经网络,其中每个时间层后面都有一个 dropout 层,这些 dropout 层共享它们的掩码。除其他外,A Theoretically Grounded Application of Dropout in Recurrent Neural Networks 中描述了这种结构。
据我理解的代码,在 MXNet 中实现的循环网络模型没有在时间层之间应用任何 dropout 层; lstm (R API, Python API) 等函数的 dropout 参数实际上定义了输入的 dropout。因此,我需要从头开始重新实现这些功能。
但是,Dropout 层似乎没有将定义掩码的变量作为参数。
是否可以在计算图的不同位置创建多个 dropout 层,但共享它们的掩码?
【问题讨论】:
标签: python r neural-network recurrent-neural-network mxnet