【问题标题】:mxnet: multiple dropout layers with shared maskmxnet:具有共享掩码的多个 dropout 层
【发布时间】:2017-05-30 04:43:17
【问题描述】:

我想重现一个循环神经网络,其中每个时间层后面都有一个 dropout 层,这些 dropout 层共享它们的掩码。除其他外,A Theoretically Grounded Application of Dropout in Recurrent Neural Networks 中描述了这种结构。

据我理解的代码,在 MXNet 中实现的循环网络模型没有在时间层之间应用任何 dropout 层; lstm (R API, Python API) 等函数的 dropout 参数实际上定义了输入的 dropout。因此,我需要从头开始重新实现这些功能。

但是,Dropout 层似乎没有将定义掩码的变量作为参数。

是否可以在计算图的不同位置创建多个 dropout 层,但共享它们的掩码?

【问题讨论】:

    标签: python r neural-network recurrent-neural-network mxnet


    【解决方案1】:

    根据here的讨论,无法指定掩码,使用随机种子对dropout的随机数生成器没有影响。

    【讨论】:

    • 有解决 RNG 问题的工作,但您仍然无法指定掩码。
    猜你喜欢
    • 2017-04-23
    • 2020-07-17
    • 1970-01-01
    • 2014-07-07
    • 2017-05-26
    • 2012-01-09
    相关资源
    最近更新 更多