不可训练权重函数的梯度

Question

我正在尝试实现一个自写的损失函数。我的管道如下

x -> {常数计算} = x_feature -> 机器学习训练 -> y_feature -> {常量计算} = y_produced

这些“不断的计算”对于找出所需的 o/p 和产生的 o/p 之间的差异是必要的。

所以如果我取 y_produced 和 y_original 的 L2 范数，我应该如何将这个损失合并到原始损失中。

请注意y_produced 的维度与y_feature 不同。

Answer 1

只要您使用 可微分 运算，“恒定转换”和“可学习转换”之间就没有区别。没有这样的区别，看看神经网络的线性层

f(x) = sigmoid( W * x + b )

它是恒定的还是可学习的？ W 和 b 是经过训练的，但“sigmoid”不是，但梯度以相同的方式流动，无论某物是否是变量。特别是梯度wrt。到 x 是一样的

g(x) = sigmoid( A * x + c )

其中 A 和 c 是常数。

您将遇到的唯一问题是使用不可微操作，例如：argmax、排序、索引、采样等。这些操作没有明确定义的梯度，因此您不能直接使用一阶优化器。只要您坚持可区分的问题-所描述的问题实际上并不存在-“恒定转换”和任何其他转换之间没有区别-无论大小等变化。