【问题标题】:What does "2-way" softmax mean?“2-way”softmax 是什么意思?
【发布时间】:2017-11-06 22:18:52
【问题描述】:

对此我找不到明确的共识。

2-way softmax是什么意思,和n-way softmax有什么不同?

Geoffrey Hinton 在他的 Coursera 课程 Neural Networks for Machine Learning 在测验 4 中给出的定义是:

一个有 2 个元素的 softmax 单元

我对此完全陌生,所以我不明白这是否意味着:

  1. 计算 softmax 的神经元只有两个输入?
  2. 函数的输出是一个有2个元素的向量?例如。 [0.5, 0.2]
  3. 输出只能是0或者1?

感谢任何澄清。

【问题讨论】:

    标签: neural-network softmax


    【解决方案1】:

    据我理解的问题:2-way Softmax 意味着,神经网络应该决定,天气是这个 (x) 还是那个。所以它只能输出一个二元决策。

    N-way 意味着您有多个输出。例如:您的网络应该决定给定的图片是狗还是猫(双向)

    另一个网络应该知道,如果图片显示的是汽车、球、房子或人等......(n-way)。 看一下这个: https://github.com/Kulbear/deep-learning-nano-foundation/wiki/ReLU-and-Softmax-Activation-Functions

    从技术上讲:网络中的一堆神经元与数学运算、权重和偏差相连......

    我使用的大多数模型都使用 0 到 1 之间的数字(双精度/浮点数)。但在分类网络中,您希望得到一个定义好的结果。对于猫/狗网络,您将有 2 个输出神经元(一个用于猫概率,另一个用于狗概率)。因此,给定的带有清晰肥狗的图片将产生类似 (0.265, 0.995) 的结果。所以它很可能是一只狗。在这里应用 2-way softmax,将得到 ~(0.2, 0.8)。所以“它是一只狗”

    基本上:它将模糊输出标准化,使用户能够做出明确的决定。阅读提供的链接。挺好的……

    【讨论】:

    • 对不起,如果 softmax 本身也输出概率,你将如何得到 (0,1)?我的意思是在一个 softmax 组中,每个神经元都会输出一些概率,这些概率加起来总和为一个……数字“1”或“0”是如何产生的?
    • 好的,我刚看到“4-way” softmax,对四个对象进行分类。所以在我看来 4-way softmax 是一个有四个元素的 softmax 组。
    猜你喜欢
    • 1970-01-01
    • 2020-02-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-03-01
    相关资源
    最近更新 更多