【问题标题】:Tensorflow lite object detection, Android Studio, ssd mobilevet v2, same structure different tflite file but almost 0 detectionTensorflow lite 对象检测,Android Studio,ssd mobilevet v2,相同结构不同的 tflite 文件但几乎 0 检测
【发布时间】:2022-07-13 21:25:51
【问题描述】:

我想基于这个githubhttps://github.com/bendahouwael/Vehicle-Detection-App-Android做物体检测应用。

该 github 代码使用基于 ssd mobilenet v1 的 tflite。所以我根据ssd mobilenet v2 制作了我的自定义模型。我点击此链接https://colab.research.google.com/drive/1qXn9q6m5ug7EWJsJov6mHaotHhCUY-wG?usp=sharing 制作了我自己的 TFLITE 模型。

来自https://netron.app/ 我检查了模型结构两者几乎相同。请看下面的图片。

第一张图片是关于SSD MOBILENET V1结构的。

第二张图是我自己基于SSD MOBILENET V2的自定义模型。

我认为这两个模型的结构是相同的。所以我只是将我自己的模型粘贴到带有标签 txt 文件的应用代码(到资产文件夹)中。

应用程序很好地显示了它的实时图像,但没有检测到我决定检测什么的对象。我知道ssd mobilenet V1 类型是unit8 而我自己的模型(基于ssd mobilenet v2)类型是float32。但这不是问题,我猜 b/c 在它设置的关于量化与否的代码中。

那么请有任何想法的人告诉我为什么我的应用程序运行如此糟糕的原因。

ps1) 我忘了说调试。它没有显示任何错误消息。这让我很辛苦

【问题讨论】:

    标签: android tensorflow object-detection tensorflow-lite mobilenet


    【解决方案1】:

    如果您仔细查看INPUT 部分,

    • 与MobileNet V1 你有:type: unit8[1, 300, 300, 1]
    • 与MobileNet V2 你有:type: float[1, 300, 300, 1]

    这意味着第一个模型是量化的(更多信息:here)并且权重和偏差使用整数值。 (这是为了推理速度)

    现在如果你去你的 TFlite 对象检测类(或者可能命名不同),通常你会有一个类似这样的名为 recognizeImage() 的方法(这是你创建填充 ByteBuffer 时的部分):

    imgData.rewind();
    for (int i = 0; i < inputSize; ++i) {
      for (int j = 0; j < inputSize; ++j) {
        int pixelValue = intValues[i * inputSize + j];
        if (isModelQuantized) {
          // Quantized model
          imgData.put((byte) ((pixelValue >> 16) & 0xFF));
          imgData.put((byte) ((pixelValue >> 8) & 0xFF));
          imgData.put((byte) (pixelValue & 0xFF));
        } else { // Float model
          imgData.putFloat((((pixelValue >> 16) & 0xFF) - IMAGE_MEAN) / IMAGE_STD);
          imgData.putFloat((((pixelValue >> 8) & 0xFF) - IMAGE_MEAN) / IMAGE_STD);
          imgData.putFloat(((pixelValue & 0xFF) - IMAGE_MEAN) / IMAGE_STD);
        }
      }
    }
    

    地点:

      private static final float IMAGE_MEAN = 128.0f;
      private static final float IMAGE_STD = 128.0f;
    

    所以在第一种情况下设置isModelQuantized = true,对于MobileNet V2,你设置isModelQuantized = false

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2019-06-09
      • 2019-11-14
      • 1970-01-01
      • 2019-11-12
      • 1970-01-01
      • 2021-01-26
      • 1970-01-01
      相关资源
      最近更新 更多