如何在 keras 中操作可训练的张量乘法运算？

Question

我倾向于建立一个模型，模型的一个输入是一个形状为(?, 29, 64) 的张量。 这是我模型代码中的定义：

history_topics = Input(shape=(29, 64, ), name = 'history')

然后我将其转置为形状为(?,64,29) 的新张量

history_topics_trans = Lambda(lambda x: K.tf.transpose(x,perm=[0,2,1]))(history_topics)

然后，我想初始化一个名为da的新可训练张量，形状为(5, 64)，并将da乘以history_topics_trans得到 一个新的张量，形状为(?,5,29)。

那么如何实现呢？谢谢。

Answer 1

您可以简单地为此使用Dense 层。如果不需要偏置项，可以设置use_bias=False。

import tensorflow as tf
from tensorflow import keras
K = keras.backend

history_topics = keras.layers.Input(shape=(29, 64), name='history')
history_topics_proj = keras.layers.Dense(5, use_bias=False)(history_topics)
history_topics_trans = keras.layers.Lambda(
    lambda x: tf.transpose(x, perm=[0,2,1]))(history_topics_proj)
model = keras.models.Model(inputs=[history_topics], outputs=[history_topics_trans])

model.summary()

这是输出：

Model: "model"
_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
history (InputLayer)         [(None, 29, 64)]          0
_________________________________________________________________
dense_2 (Dense)              (None, 29, 5)             320
_________________________________________________________________
lambda_2 (Lambda)            (None, 5, 29)             0
=================================================================
Total params: 320
Trainable params: 320
Non-trainable params: 0
_________________________________________________________________

您可以像这样查看Dense 层的权重：

dense_layer = keras.layers.Dense(5, use_bias=False)
... # use the layer, so its weights get constructed
[weights] = dense_layer.get_weights()

如果您想要偏见条款，请不要设置use_bias=False。在这种情况下，get_weights() 将返回权重矩阵和偏置向量：

dense_layer = keras.layers.Dense(5)
... # use the layer, so its weights get constructed
[weights, bias] = dense_layer.get_weights()

一个 Keras 层是懒惰构建的，第一次实际使用它。如果您尝试在构建权重之前获取权重，您将得到一个空列表。要强制创建权重，可以在某些数据上调用图层，或者直接调用build() 方法：

dense_layer.build(input_shape=[None, None, 64])

请注意，input_shape 参数应称为 batch_input_shape，因为它包含输入的完整形状，包括批次维度。

get_weights() 方法返回一个 NumPy 数组。如果您喜欢获取符号张量，例如直接使用模型中的权重，则应使用 variables 实例变量：

>>> dense_layer.variables
[<tf.Variable 'kernel_5:0' shape=(64, 5) dtype=float32>]