在 proto 文件中查看 float32 权重

Question

我已经转换了经过 Google Inception 训练的模型 .pb 文件，如下所示：

A
mixed_9/join/concat_dimConst*

dtype0*
value   :
A
mixed_8/join/concat_dimConst*

dtype0*
value   :
A
mixed_7/join/concat_dimConst*

dtype0*
value   :
A
mixed_6/join/concat_dimConst*

使用从标准输入读取的 Google Protobuf --decode_raw。现在，输出读取为.proto 文件，包括层的名称和一些编码数字。这是.proto文件的前30行：

syntax="proto2";
1 {
  1: "mixed_10/join/concat_dim"
  2: "Const"
  5 {
    1: "dtype"
    2 {
      6: 3
    }
  }
  5 {
    1: "value"
    2 {
      8 {
        1: 3
        2: ""
        7: "\003"
      }
    }
  }
1 {
  1: "mixed_9/join/concat_dim"
  2: "Const"
  5 {
    1: "dtype"
    2 {
      6: 3
    }
  }

解析文件，我正在寻找初始模型的训练权重，例如在这种情况下：

1 {
  1: "Mul"
  2 {
    10: 108
    12: 0x7265646c6f686563
  }
  5 {
    1: "dtype"
    2 {
      6: 1
    }
  }
  5 {
    1: "shape"
    2 {
      7: ""
    }
  }
}

另一方面，使用一个小的 python 脚本，我可以打印出 inception 模型中的所有张量：

import tensorflow as tf
from tensorflow.python.platform import gfile

INCEPTION_LOG_DIR = '/tmp/inception_v3_log'

if not os.path.exists(INCEPTION_LOG_DIR):
    os.makedirs(INCEPTION_LOG_DIR)
with tf.Session() as sess:
    model_filename = './model/tensorflow_inception_v3_stripped_optimized_quantized.pb'
    with gfile.FastGFile(model_filename, 'rb') as f:
        graph_def = tf.GraphDef()
        graph_def.ParseFromString(f.read())
        _= tf.import_graph_def(graph_def,name='')
 pprint([out for op in tf.get_default_graph().get_operations() if op.type != 'Placeholder' for out in op.values() if out.dtype == tf.float32])                                                                                             

我已经生成了该模型的所有层。所以，Mul 层对应于我的 Python 脚本输出的中间行：

(<tf.Tensor 'mixed/join/concat_dim:0' shape=() dtype=int32>,)
(<tf.Tensor 'Mul:0' shape=<unknown> dtype=float32>,)
(<tf.Tensor 'conv/conv2d_params_quint8_const:0' shape=(3, 3, 3, 32) dtype=quint8>,)

我的问题是我找不到读取这些 float32 值的方法，我认为这些值是每一层的权重。

我已经在我的.proto 文件上尝试了protocv3.3，但我收到一个错误：

$ protoc inception.proto.utf --print_free_field_numbers
inception.proto.utf:2:1: Expected top-level statement (e.g. "message").

任何帮助将不胜感激。

P.s：inception_model 的.pb 文件在here 可用。

Answer 1

除非您的模型没有任何变量（经过训练的模型参数），或者它们在导出之前已经转换为常量，否则您还需要从单独的检查点文件加载变量值。它们也可能难以加载，因为据我了解 .pb 文件不会保存保存时所在的集合变量。 MetaGraphDefs 正是出于这个原因而创建的，您很有可能最好寻找其中一个相关的。

如果您的模型确实没有任何变量，您应该能够在加载图定义后通过运行会话来获取该层的值。

session.run('Mul:0')

如果模型有占位符，您可能必须使用 feed_dict。

注意：这些不是层的权重，而是相乘的结果。