正确训练多层感知器以获得 2 的幂

Question

我对神经网络世界很陌生，我学习了一些教程并且能够实现 MLP，但是激活函数是双曲正切，其范围是 [-1:1]。

我写了一个这样的训练文件：1 2 3 4 ... n

目标输出文件是 2 的幂：2 4 8 16 ... 2^n

我想让网络模拟这个函数，但不知道如何调整学习率、动量和激活函数 为了正确模拟。

我尝试了激活函数f(x) = x（带导数 1）来克服范围问题（输出在 -1 和 1 之间），但是我的输出和错误随之增长得非常快，即使我降低了学习率，所以我对如何修改这些参数以模拟f(x) = 2^x 或如何正确训练网络感到困惑。

我应该怎么做才能让这个 MLP 工作？

Answer 1

我更喜欢得到每个2^N 的binary 表示，并以0.01 的学习率和Sigmoid 激活函数对其进行训练。

很难精确生成小数中的 2、4、8，可能会发生溢出，您的输出将变为 nan。而是为所有ys 生成相同长度的二进制表示并为此训练您的网络。

import numpy as np
x = np.arange(5)
y = np.power(2, x)
x = x.reshape((-1, 1))
lr = 0.01
o = list(map(lambda x:int(np.binary_repr(x)), y))
o = list(map(lambda x:"{:010d}".format(x), o))
y = np.array(list(map(lambda x: [int(i) for i in x], o)))
print(y, x)

这就是你得到的。

(array([[0, 0, 0, 0, 0, 0, 0, 0, 0, 1],
        [0, 0, 0, 0, 0, 0, 0, 0, 1, 0],
        [0, 0, 0, 0, 0, 0, 0, 1, 0, 0],
        [0, 0, 0, 0, 0, 0, 1, 0, 0, 0],
        [0, 0, 0, 0, 0, 1, 0, 0, 0, 0]]), array([[0],
        [1],
        [2],
        [3],
        [4]]))

不让溢出发生是我们的责任。所以激活函数是必要的。您可以在激活函数范围内使用自己的中间表示。