如何以张量形式访问 Keras 层中 clip_by_weight 的权重变量？

Question

我正在实施 WGAN，需要裁剪权重变量。

我目前使用 Tensorflow 和 Keras 作为高级 API。因此使用 Keras 构建层以避免手动创建和初始化变量。

问题是 WGAN 需要裁剪权重变量，这可以在我获得这些权重变量张量后使用 tf.clip_by_value(x, v0, v1) 完成，但我不知道如何安全地获得它们。

一种可能的解决方案可能是使用tf.get_collection() 来获取所有可训练变量。但我不知道如何在没有 bias 变量的情况下仅获得 weight 变量。

另一个解决方案是layer.get_weights()，但它得到numpy 数组，虽然我可以使用numpy API 剪辑它们并使用layer.set_weights() 设置它们，但这可能需要CPU-GPU 公司，并且可能不是不错的选择，因为每个 train step 都需要执行剪辑操作。

我知道的唯一方法是使用 exact 变量名直接访问它们，我可以从 TF 低级 API 或 TensorBoard 获得，但这可能不安全，因为 Keras 的命名规则无法保证保持稳定。

是否有任何干净的方法可以使用 Tensorflow 和 Keras 仅在 Ws 上执行 clip_by_value？

Answer 1

您可以使用约束(here) 类来实现对参数的新约束。

这是您可以轻松实现剪辑权重并在模型中使用它的方法。

from keras.constraints import Constraint
from keras import backend as K

class WeightClip(Constraint):
    '''Clips the weights incident to each hidden unit to be inside a range
    '''
    def __init__(self, c=2):
        self.c = c

    def __call__(self, p):
        return K.clip(p, -self.c, self.c)

    def get_config(self):
        return {'name': self.__class__.__name__,
                'c': self.c}

import numpy as np
from keras.models import Sequential
from keras.layers import Dense

model = Sequential()
model.add(Dense(30, input_dim=100, W_constraint = WeightClip(2)))
model.add(Dense(1))

model.compile(loss='mse', optimizer='rmsprop')

X = np.random.random((1000,100))
Y = np.random.random((1000,1))

model.fit(X,Y)

我已经测试了上面代码的运行，但没有测试约束的有效性。您可以通过在使用model.get_weights() 或model.layers[idx].get_weights() 进行训练后获取模型权重并检查其是否遵守约束来实现。

注意：约束并没有添加到所有模型权重.. 只是添加到其使用的特定层的权重，W_constraint 将约束添加到 W 参数和 b_constraint 到 b（偏差）参数