Caffe GoogleNet 模型预测总是一样的

Question

我正在尝试从 caffe 模型动物园运行预训练的 googlenet 模型（无微调）。模型和deploy.prototxt都是从https://github.com/BVLC/caffe/tree/master/models/bvlc_googlenet下载的

下面是我正在使用的代码：

net = caffe.Net('deploy.prototxt', 'bvlc_googlenet.caffemodel', caffe.TEST)
net.blobs['data'].reshape(1,3,224,224)

image_path = '1.png'
img = caffe.io.load_image(image_path)
img = caffe.io.resize( img, (224, 224, 3) )

# mean subtraction
img[0,:,:] -= 104 / 255.0
img[1,:,:] -= 117 / 255.0
img[2,:,:] -= 123 / 255.0

# 224,224,3 -> 3,224,224
img = np.transpose(img, (2, 0, 1))

out = net.forward(data=np.array([img]))['prob']
print(np.argmax(out))

看起来模型加载正常，但无论输入如何，它总是输出相同的类 (885)。可能是什么原因？

UPD：实际上，同样的问题也适用于其他模型，无论我是否是指减法，只是总是检测到的类发生了一些变化。

Answer 1

我可以看到代码存在一些问题。首先是你应该在设置平均值之前使用np.transpose，因为在caffe.io.load 中，图像仍然具有形状（224,224,3）。其次是您需要将图像从 [0,1] 重新缩放到 [0,255]。 caffe 也期望图像按一定顺序排列。 Small explanation is given here。所以你必须将默认的 RGB 更改为 BGR 格式。

我建议使用转换器caffe.io.transformer，它可以干净地打包所有这些转换。

对于您的示例，带有转换器的代码将是：

transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})
transformer.set_mean('data', np.array([104,117,123]))
transformer.set_transpose('data',(2,0,1))
transformer.set_channel_swap('data',(2,1,0))
transformer.set_raw_scale('data', 255.0)

image_path = 'cat.jpg'
img = caffe.io.load_image(image_path)
img = caffe.io.resize( img, (224, 224, 3) )

net.blobs['data'].reshape(1,3,224,224)
net.blobs['data'].data[:,:,:] = transformer.preprocess('data',img)
output = net.forward()
out = net.blobs['prob'].data[0].flatten()
labels = np.loadtxt(labels_file, str, delimiter='\t')
print(np.argmax(out))
print ('output label : ' + labels[out.argmax()])