【问题标题】:Why Softmax is not selecting with maximum probability?为什么 Softmax 没有以最大概率选择?
【发布时间】:2018-11-21 14:46:41
【问题描述】:

我正在斯坦福大学参加课程 CS231 的讲座。我无法理解 RNN 的观点,为什么 Softmax 无法选择字符 o 的最高概率为 0.84(在所附示例中) ) 而不是字符 e 的 0.13。解释将不胜感激。

【问题讨论】:

  • 这可能是幻灯片中的错字或错误。
  • @MatiasValdenegro 我不同意,而且它不仅错误地产生'e',而且首先产生'l'。
  • 你不同意?你有什么证据?与其他人一样,作者更有可能犯了一个错误。无论如何,这里的编程问题是什么?
  • @MatiasValdenegro 很抱歉我不能很好地解释,但我看了视频讲座,导师提到了,但我无法从他的解释中理解。因此,我在这里发布以更好地了解 RNN 并在以后实施。

标签: deep-learning probability rnn softmax


【解决方案1】:

我没有真正看过讲座,但我认为顶部的“e”是预期的输出(还有“l”、“l”、“o”)。初始权重没有给出足够好的结果(给出'o'而不是'e')。当你训练网络时,权重会变得更加成熟,最终你会看到概率的变化,第一个预测最终会得到'e'

【讨论】:

  • 是的,总的来说你是对的,但是这里的讲师提到的是抽样策略而不是概率。谢谢
猜你喜欢
  • 2018-11-19
  • 1970-01-01
  • 1970-01-01
  • 2023-04-10
  • 1970-01-01
  • 1970-01-01
  • 2020-09-23
  • 1970-01-01
相关资源
最近更新 更多