是否存在输出为概率的反向误差传播版本？答案

【问题标题】：Is there a version of backward error propogation where the output is a probability?是否存在输出为概率的反向误差传播版本？
【发布时间】：2011-08-27 08:25:19
【问题描述】：

我想创建一个前馈神经网络，其中训练数据中的输出为布尔值，0 或 1。

然而，在使用中，我希望输出是该输入产生 0 或 1 的预期概率。

鉴于最常见的反向传播形式使用 sigmoid 激活函数，这似乎不太可能导致实际概率作为输出（sigmoid 曲线看起来并不像“概率”函数 - 抱歉，我知道这是手摇）。

或者我错了。使用 sigmoid 激活函数和使用反向概率训练的前馈神经网络的输出是否可以安全地视为获得 1 而不是 0 的实际概率？

【问题讨论】：

我不太明白你的意思。 “前馈”是指许多类型的神经网络的大量集合。感知器是最简单的，它们是确定性的，而不是随机的。
如果我没记错的话，反向错误传播与多层前馈网络一起使用。是的，我正在寻找能给我一个确定性概率的东西，给定一个输入，输出将为 1。因为我们不太可能绝对确定输出将为 1（除非我们以前见过），输出将始终小于 1。

标签： artificial-intelligence neural-network

【解决方案1】：

是的，如果您使用标准的 sigmoid 激活函数，这将以您想要的方式工作。

证明这一点的数学有点复杂，但它实际上归结为您正在训练 sigmoid 函数以生成输出训练集的平均值（这是使用平方误差函数的结果正常的反向传播）。由于两个可能的值是 0 和 1，因此平均值正好等于得到 1 的概率。

【讨论】：