通过 Tensorflow 进行的图像分类给出了完全相同的预测

Question

请耐心听我解释。

我有一个 Android 应用程序，它使用 OpenCV 将 YUV420 图像转换为位图并将其传输到解释器。问题是，每次我运行它时，我都会得到完全相同的类预测和完全相同的置信度值，与我指向的内容无关。

...
Recognitions : [macbook pro: 0.95353276, cello gripper: 0.023749515]. 
Recognitions : [macbook pro: 0.95353276, cello gripper: 0.023749515]. 
Recognitions : [macbook pro: 0.95353276, cello gripper: 0.023749515]. 
Recognitions : [macbook pro: 0.95353276, cello gripper: 0.023749515].
...

现在，在您提到我的模型训练不足之前，我已经在 Tensorflow Codelab-2 中提供的 TFLite 示例中测试了完全相同的 .tflite 文件。它可以正常工作，并以 90% 以上的准确率识别我的所有 4 个课程。此外，我使用label_image.py 脚本来测试.pb 文件，我的.tflite 是使用该文件派生的，它可以正常工作。我已经在每个班级的近 5000 多张图像上训练了该模型。由于它适用于其他应用程序，我猜该模型没有问题，但我的实现。虽然我无法确定它。

以下代码用于从图像字节创建 Mat(s)：

//Retrieve the camera Image from ARCore
val cameraImage = frame.acquireCameraImage()
val cameraPlaneY = cameraImage.planes[0].buffer
val cameraPlaneUV = cameraImage.planes[1].buffer

// Create a new Mat with OpenCV. One for each plane - Y and UV
val y_mat = Mat(cameraImage.height, cameraImage.width, CvType.CV_8UC1, cameraPlaneY)
val uv_mat = Mat(cameraImage.height / 2, cameraImage.width / 2, CvType.CV_8UC2, cameraPlaneUV)
var mat224 = Mat()
var cvFrameRGBA = Mat()

// Retrieve an RGBA frame from the produced YUV
Imgproc.cvtColorTwoPlane(y_mat, uv_mat, cvFrameRGBA, Imgproc.COLOR_YUV2BGRA_NV21)
// I've tried the following in the above line
// Imgproc.COLOR_YUV2RGBA_NV12
// Imgproc.COLOR_YUV2RGBA_NV21
// Imgproc.COLOR_YUV2BGRA_NV12
// Imgproc.COLOR_YUV2BGRA_NV21

以下代码用于将图像数据添加到 ByteBuffer 中：

// imageFrame is a Mat object created from OpenCV by processing a YUV420 image received from ARCore
override fun setImageFrame(imageFrame: Mat) {
    ...
    // Convert mat224 into a float array that can be sent to Tensorflow
    val rgbBytes: ByteBuffer = ByteBuffer.allocate(1 * 4 * 224 * 224 * 3)
    rgbBytes.order(ByteOrder.nativeOrder())

    val frameBitmap = Bitmap.createBitmap(imageFrame.cols(), imageFrame.rows(), Bitmap.Config.ARGB_8888, true)
    // convert Mat to Bitmap
    Utils.matToBitmap(imageFrame, frameBitmap, true)
    frameBitmap.getPixels(intValues, 0, frameBitmap.width, 0, 0, frameBitmap.width, frameBitmap.height)

    // Iterate over all pixels and retrieve information of RGB channels
    intValues.forEach { packedPixel ->
        rgbBytes.putFloat((((packedPixel shr 16) and 0xFF) - 128) / 128.0f)
        rgbBytes.putFloat((((packedPixel shr 8) and 0xFF) - 128) / 128.0f)
        rgbBytes.putFloat(((packedPixel and 0xFF) - 128) / 128.0f)
    }
}

.......
private var labelProb: Array<FloatArray>? = null
.......
// and classify 
labelProb?.let { interpreter?.run(rgbBytes, it) }
.......

我检查了从 Mat 转换的位图。它尽可能地显示得最好。

有什么想法吗？

更新一

我稍微更改了 setImageFrame 方法的实现以匹配实现 here。既然它对他有用，我希望它也对我有用。还是不行。

override fun setImageFrame(imageFrame: Mat) {
    // Reset the rgb bytes buffer
    rgbBytes.rewind()

    // Iterate over all pixels and retrieve information of RGB channels only
    for(rows in 0 until imageFrame.rows())
        for(cols in 0 until imageFrame.cols()) {
            val imageData = imageFrame.get(rows, cols)
            // Type of Mat is 24
            // Channels is 4
            // Depth is 0
            rgbBytes.putFloat(imageData[0].toFloat())
            rgbBytes.putFloat(imageData[1].toFloat())
            rgbBytes.putFloat(imageData[2].toFloat())
        }
}

更新二

怀疑我的浮点模型，我将其更改为预先构建的 MobileNet Quant 模型，只是为了消除一种可能性。问题仍然存在。

...
Recognitions : [candle: 18.0, otterhound: 15.0, syringe: 13.0, English foxhound: 11.0]
Recognitions : [candle: 18.0, otterhound: 15.0, syringe: 13.0, English foxhound: 11.0]
Recognitions : [candle: 18.0, otterhound: 15.0, syringe: 13.0, English foxhound: 11.0]
Recognitions : [candle: 18.0, otterhound: 15.0, syringe: 13.0, English foxhound: 11.0]
...

Answer 1

好的。所以4天后，我终于能够解决这个问题。问题是如何启动ByteBuffer。我在做：

private var rgbBytes: ByteBuffer = ByteBuffer.allocate(1 * 4 * 224 * 224 * 3)

而不是我应该做的事情：

private val rgbBytes: ByteBuffer = ByteBuffer.allocateDirect(1 * 4 * 224 * 224 * 3)

我试图了解ByteBuffer.allocate() 和ByteBuffer.allocateDirect() here 之间的区别，但无济于事。

如果有人能回答另外两个问题，我会很高兴：

1. 为什么 Tensorflow 需要直接字节缓冲区而不是非直接缓冲区？
2. 简述 Direct 和 Non Direct ByteBuffer 的区别是什么？