RNN 的输出

Question

我正在参加由多伦多大学的 Geoffrey Hinton 主持的 Coursera 课程 Neural Networks for Machine Learning，第 7 周有一个测验问题，我的答案与正确答案不同。

问题是这样的：

一个问题是，如果Whh 权重为负且逻辑h 单位给出的值介于0 和1 之间，我应该如何获得0 和1 之间的概率。鉴于上述情况，它们的线性组合将始终为负.

第二个问题是我们是否还必须使用反向传播来获得正确的答案？

我开始解决这个问题的方法如下：

h0 = 1/( 1 + exp(- (Whh * hbias + Wxh*x0)) )

h1 = 1/( 1 + exp(- (Whh * h0 + Wxh*x1)))

y1 = Why * h1

我的哪些假设不正确？

问候， 克里斯蒂安

Answer 1

试试这个。

h0 = sigmoid(x0*Wxh + hbias)
h1 = sigmoid(x1*Wxh + Whh*h0 + hbias)
y1 = h1*Why