【问题标题】:Neural net weight ranges and weights represented as bit vectors神经网络权重范围和权重表示为位向量
【发布时间】:2016-03-03 08:48:44
【问题描述】:

我正在使用进化算法来改变神经网络的权重,我有一些问题。

a) 为简单起见,将网络权重保持在 [-1, 1] 范围内是常见的做法吗?

我希望将权重表示为位向量,并通过随机翻转向量中的位来对权重执行突变。我遇到的问题是将结果值保持在所选范围内。

b) 有没有办法将浮点数表示为位向量,使位向量的所有“排列”都落在某个范围内?

b) 的一个潜在解决方案是定义一定数量的步骤,比如 1024,将权重表示为长度为 10 的位向量,并将 [0, 1023] 之间的数字转换为 [-1, 1]。

谢谢。

【问题讨论】:

    标签: neural-network genetic-algorithm evolutionary-algorithm


    【解决方案1】:

    将网络权重保持在[-1, 1]的范围内是常见的做法吗?

    不可以,但是将权重限制在某个范围内可能会加快基因搜索中的搜索过程。您必须尝试不同的体重范围,才能找到适合您问题的区间。

    有没有办法将浮点数表示为位向量,使得位向量的所有“排列”都在一定范围内?

    是的。假设您有一个权重,其取值来自区间 [-2, 2]。为了表示浮点值,您决定使用(例如)“5 位精度”。因此,位向量可以取从 0 到 (2^5)-1 的值。

    为了计算位向量表示的浮点值,你计算
    weight_min + int(bitvector)/( (2^5)-1 ) * weight_range

    一个数字示例:让您的位向量为 01000,范围为 [-2, 2]。这意味着权重范围为 4,最小权重为 -2。填写上一段的公式:
    -2 + 8 / 31 * 4 = -0.97

    【讨论】:

      猜你喜欢
      • 2019-05-05
      • 1970-01-01
      • 1970-01-01
      • 2019-07-31
      • 1970-01-01
      • 2016-08-17
      • 2018-11-27
      • 2018-03-01
      • 2012-07-09
      相关资源
      最近更新 更多