如何确保部分输入不参与训练神经网络？

Question

我正在使用带有 tensorflow 后端的 keras 中的人工神经网络进行回归学习。

我的输入形状是 [100,3]（[no of samples,no of features]）。
我的输出形状是 [100,3] ([no of samples,no of outputs])。

我想在每个输入样本旁边传递一个 4 维数据（此数据的形状将是 [100,4]），以便我可以访问它来编写自定义损失函数。我不希望它参与培训过程。

类似这样的：

def wrapper(input_tensor):
    def custom_loss(y_true, y_pred):
        return binary_crossentropy(y_true, y_pred) + mean(last 4 elements of the input_tensor)
    return custom_loss

我对函数式 API 以及如何将 keras 与多个输入和多个输出一起使用来训练网络进行了大量研究。但是，由于我不希望它参与训练阶段并且仍然需要传递到自定义损失函数 - 我认为它不会达到我的目的。

我解决这个问题的直觉：
1. 将 4 维数据附加到输入，在训练网络时屏蔽这 4 个输入神经元，仅将输入层的一部分（不包括最后 4 个元素）传递到下一层。 - 问题是，我认为我们不能像这样掩盖神经元。
2. 使用功能 API 将 4 维数据作为网络的附加输入。 - 问题是，我无法将 4 维数据传递给自定义损失函数，而不涉及到训练过程。

谁能帮我解决这个问题？ 如果需要任何额外信息，请告诉我。

我认为，即使是这个问题 - How to use part of inputs for training but rest for loss function in Keras 也符合我的需要。但是，没有回答:(

Answer 1

这可以通过 Keras 的功能 API 轻松完成。例如：

from tensorflow.keras import Model
from tensorflow.keras.layers import *

input_1 = Input((3,))
input_2 = Input((4,))

output = Dense(100)(input_1)
output = Dense(100)(output)

model = Model(inputs=[input_1, input_2], outputs=[output, input_2])
model.summary()

请注意，我定义了input_2，但没有将其用作任何层的参数。我直接将它传递给Model的outputs参数。

这个模型的总结是：

Model: "model_1"
__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
input_3 (InputLayer)            [(None, 3)]          0                                            
__________________________________________________________________________________________________
dense_1 (Dense)                 (None, 100)          400         input_3[0][0]                    
__________________________________________________________________________________________________
dense_2 (Dense)                 (None, 100)          10100       dense_1[0][0]                    
__________________________________________________________________________________________________
input_4 (InputLayer)            [(None, 4)]          0                                            
==================================================================================================
Total params: 10,500
Trainable params: 10,500
Non-trainable params: 0
__________________________________________________________________________________________________