是否有对图像进行归一化的 GStreamer 过滤器？答案

【问题标题】：Is there a GStreamer filter that does normalization on an image?是否有对图像进行归一化的 GStreamer 过滤器？
【发布时间】：2019-11-06 19:03:18
【问题描述】：

我正在尝试创建一个可以进行图像处理的GStreamer 管道。具体来说，我正在做机器学习网络使用的图像预处理。因此，此管道将在将其馈送到神经网络之前执行所有必要的预处理步骤。
现在，我正在尝试找出是否有任何 GStreamer 插件可以简单地进行规范化。
GStreamer 确实允许程序员为应用程序创建自定义插件。这是这个问题的一个解决方案，但我想知道是否有任何预先存在的解决方案。

任何事情都可能有帮助！！！提前谢谢你。

我查看了GStreamers 他们网站上的插件列表，但其中有很多，有些描述不清楚，对我来说，它们的作用或如何使用它们。
这个page 是他们网站上提供的GStreamers 插件列表。

这个plugin 听起来很有希望，但并不是我想要的。

如果有人好奇，这是我想为我的 GStreamer 管道复制的规范化方法。

def preprocess(img_data):
    mean_vec = np.array([0.485, 0.456, 0.406])
    stddev_vec = np.array([0.229, 0.224, 0.225])
    norm_img_data = np.zeros(img_data.shape).astype('float32')
    for i in range(img_data.shape[0]):  
         # for each pixel in each channel, divide the value by 255 to get value between [0, 1] and then normalize
        norm_img_data[i,:,:] = (img_data[i,:,:]/255 - mean_vec[i]) / stddev_vec[i]
    return norm_img_data

【问题讨论】：

标签： python image-processing gstreamer normalization python-gstreamer

【解决方案1】：

当我们对图像使用归一化进行神经网络推理时，我们通常会这样做：

${some video/x-raw stream} ! tensor_converter ! tensor_transform mode=arithmetic option=typecast:float32,add:-127.5,div:127.6 ! tensor_filter ${whatever neural network mode you want} ! ....

用于神经网络处理的 GStreamer 插件： https://github.com/nnsuite/nnstreamer
示例代码： https://github.com/nnsuite/nnstreamer-example
这样进行规范化的代码：https://github.com/nnsuite/nnstreamer-example/blob/master/android/example_app/nnstreamer-multi/jni/nnstreamer-ex.cpp
此“示例应用”的二进制文件：https://play.google.com/store/apps/details?id=org.freedesktop.gstreamer.nnstreamer&hl=en

【讨论】：