keras 中的 preprocess_input() 方法

Question

我正在尝试来自以下keras 文档页面的示例keras 代码， https://keras.io/applications/

keras 模块的preprocess_input(x) 函数在下面的代码中有什么作用？为什么在传递给preprocess_input()方法之前我们必须做expand_dims(x, axis=0)？

from keras.applications.resnet50 import ResNet50
from keras.preprocessing import image
from keras.applications.resnet50 import preprocess_input
import numpy as np

model = ResNet50(weights='imagenet')

img_path = 'elephant.jpg'
img = image.load_img(img_path, target_size=(224, 224))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)
x = preprocess_input(x)

是否有任何文档对这些功能进行了很好的解释？

谢谢！

Answer 1

正如您在tensorflow/python/keras/_impl/keras/applications/imagenet_utils.py 看到的那样，torch 预处理的主要目的是相应地对颜色通道进行归一化，哪个数据集之前使用过训练网络。就像我们通过简单的 (Data - Mean) / Std 所做的那样

源代码：

def _preprocess_numpy_input(x, data_format, mode):
  """Preprocesses a Numpy array encoding a batch of images.
  Arguments:
      x: Input array, 3D or 4D.
      data_format: Data format of the image array.
      mode: One of "caffe", "tf" or "torch".
          - caffe: will convert the images from RGB to BGR,
              then will zero-center each color channel with
              respect to the ImageNet dataset,
              without scaling.
          - tf: will scale pixels between -1 and 1,
              sample-wise.
          - torch: will scale pixels between 0 and 1 and then
              will normalize each channel with respect to the
              ImageNet dataset.
  Returns:
      Preprocessed Numpy array.
  """
  if mode == 'tf':
    x /= 127.5
    x -= 1.
    return x

  if mode == 'torch':
    x /= 255.
    mean = [0.485, 0.456, 0.406]
    std = [0.229, 0.224, 0.225]
  else:
    if data_format == 'channels_first':
      # 'RGB'->'BGR'
      if x.ndim == 3:
        x = x[::-1, ...]
      else:
        x = x[:, ::-1, ...]
    else:
      # 'RGB'->'BGR'
      x = x[..., ::-1]
    mean = [103.939, 116.779, 123.68]
    std = None

  # Zero-center by mean pixel
  if data_format == 'channels_first':
    if x.ndim == 3:
      x[0, :, :] -= mean[0]
      x[1, :, :] -= mean[1]
      x[2, :, :] -= mean[2]
      if std is not None:
        x[0, :, :] /= std[0]
        x[1, :, :] /= std[1]
        x[2, :, :] /= std[2]
    else:
      x[:, 0, :, :] -= mean[0]
      x[:, 1, :, :] -= mean[1]
      x[:, 2, :, :] -= mean[2]
      if std is not None:
        x[:, 0, :, :] /= std[0]
        x[:, 1, :, :] /= std[1]
        x[:, 2, :, :] /= std[2]
  else:
    x[..., 0] -= mean[0]
    x[..., 1] -= mean[1]
    x[..., 2] -= mean[2]
    if std is not None:
      x[..., 0] /= std[0]
      x[..., 1] /= std[1]
      x[..., 2] /= std[2]
  return x

Answer 2

我发现预处理您的数据，而您的数据集与预训练模型/数据集的数据集相差太大，那么它可能会以某种方式损害您的准确性。如果您进行迁移学习并从预训练模型/它们的权重中冻结某些层，只需 /255.0 您的原始数据集就可以很好地完成这项工作，至少对于 1/2 百万的大型样本食品数据集。理想情况下，您应该知道数据集的 std/mean 并使用它，而不是使用预训练模型预处理的 std/mdean。

Answer 3

这会加载图像并将图像大小调整为 (224, 224)：

 img = image.load_img(img_path, target_size=(224, 224))

img_to_array() 函数添加通道：x.shape = (224, 224, 3) 用于 RGB，(224, 224, 1) 用于灰度图像

 x = image.img_to_array(img) 

expand_dims()用于添加图片数量：x.shape = (1, 224, 224, 3)：

x = np.expand_dims(x, axis=0)

preprocess_input 减去 imagenet 数据集的平均 RGB 通道。这是因为您使用的模型已经在不同的数据集上进行了训练：x.shape 仍然是 (1, 224, 224, 3)

x = preprocess_input(x)

如果将x 添加到数组images 中，则在循环结束时，您需要添加images = np.vstack(images) 以便获得(n, 224, 224, 3) 作为图像的暗度，其中n 是图像的数量图像处理

Answer 4

Keras 可以处理批量图像。因此，第一个维度用于您拥有的样本（或图像）的数量。

加载单张图片时，会得到一张图片的形状，即(size1,size2,channels)。

为了创建一批图片，你需要一个额外的维度：(samples, size1,size2,channels)

preprocess_input 函数旨在使您的图像适合模型所需的格式。

一些模型使用的图像值范围为 0 到 1。其他模型使用的值范围为 -1 到 +1。其他人则使用“caffe”样式，即未归一化，而是居中。

来自source code，Resnet 使用的是 caffe 风格。

您无需担心preprocess_input 的内部细节。但理想情况下，您应该为此使用 keras 函数加载图像（这样您就可以保证您加载的图像与preprocess_input 兼容）。