CNTK - 模型的不完整训练

Question

我使用 CNTK python API 训练了一个三层前馈网络来玩一个简单的基于网格的棋盘游戏。如果我使用小板 (6 x 6) 网格，模型训练成功。该模型在 100 场比赛中以 100% 的成功率进行比赛。但是，如果我将棋盘大小增加到 21 x 21，训练似乎会饱和，在 100 场比赛中成功率约为 90%。

增加训练时间或改变训练参数似乎不会提高模型的性能。

• 我错过了什么吗？
• CNTK 是否支持使用“dropout”？
• 还有其他技术可以改进训练

Answer 1

是的，支持 dropout。当前文档位于此处：

https://cntk.ai/pythondocs/cntk.ops.html?highlight=dropout#cntk.ops.dropout

您使用的是哪种激活函数？如果您使用的是 Sigmoid，请尝试使用 ReLU。如果使用 ReLU，它们可能会在训练期间由于大梯度流动而死亡。尝试使用 Leaky ReLU 或 Param ReLU。工具包都支持这些。