Tensorflow 图节点是交换的

Question

我已经使用微调预训练模型ssd_mobilenet_v2_coco_2018 训练了一个模型。在这里，我使用了完全相同的 pipeline.config 文件进行训练，该文件位于 ssd_mobilenet_v2_coco_2018 pre-trained 文件夹中。 我只删除了batch_norm_trainable: true 标志并更改了类数（4）。 在使用包含 4 个类的自定义数据集训练模型后，我发现 concat 和 concat_1 节点可以相互交换。 预训练模型有 | concat | 1x1917x1x4 | 训练后变成 | concat | 1x1917x5 | 我附上了两个张量板图形可视化图像。第一张图片是预训练图ssd_mobilenet_v2_coco_2018。

节点交换可以在图像的最右角看到。与预训练图中一样，Postprocess layer 与 concat_1 连接，Squeeeze 与 concat 连接。但是在训练之后，图表显示完全相反。就像Prosprocess layer 连接到concat 和Squeeeze 连接到concat_1。 此外，我还在预训练模型图中发现Preprocessor 接受输入ToFloat，而在训练后，该图显示 Cast 作为Preprocessor 的输入。 我已将模型输入为tfrecords。

Answer 1

很可能，区别不在于图表，而只是节点的名称，即左侧的节点concat 和concat_1 分别与相同的节点。 concat_1 和 concat 在右侧。

问题是，当您不为节点提供明确的名称时，tensorflow 需要提供一个名称，而且它的命名约定相当缺乏创造性。第一次需要命名一个节点时，它会使用它的类型。当它再次遇到这种情况时，它只需在名称中添加_ + 一个递增的数字。

举个例子：

import tensorflow as tf

x = tf.placeholder(tf.float32, (1,), name='x')
y = tf.placeholder(tf.float32, (1,), name='y')
z = tf.placeholder(tf.float32, (1,), name='z')

xy = tf.concat([x, y], axis=0)  # named 'concat'
xz = tf.concat([x, z], axis=0)  # named 'concat_1'

图表如下所示：

现在如果我们构造 same 图，但这次在 xy 之前创建 xz，我们得到以下图：

所以图表并没有真正改变——只有名字发生了变化。这可能就是您的情况：创建了相同的操作，但顺序不同。

对于像concat 这样的无状态节点的名称更改这一事实并不重要，因为例如在加载保存的模型时不会错误路由权重。尽管如此，如果命名稳定性对您很重要，您可以为您的操作提供明确的名称或将它们放在不同的范围内：

xy = tf.concat([x, y], axis=0, name='xy')
xz = tf.concat([x, z], axis=0, name='xz')

如果variables 换个名字，问题就大了。这就是为什么tf.get_variable（强制变量命名并在发生名称冲突时引发错误）是 TF2 之前的时代处理变量的首选方式的原因之一。