如何在 c++ 中为 tensorflow-lite 设置图像输入？

Question

我正在尝试将我们的 Tensoflow 模型从 Python+Keras 版本迁移到嵌入式平台上使用 C++ 的 Tensorflow Lite。

看来我不知道如何正确设置解释器的输入。

输入形状应为 (1, 224, 224, 3)。

作为输入，我使用 openCV 拍摄图像，并将其转换为 CV_BGR2RGB。

std::unique_ptr<tflite::FlatBufferModel> model_stage1 = 
tflite::FlatBufferModel::BuildFromFile("model1.tflite");
  TFLITE_MINIMAL_CHECK(model_stage1 != nullptr);

  // Build the interpreter
  tflite::ops::builtin::BuiltinOpResolver resolver_stage1;
  std::unique_ptr<Interpreter> interpreter_stage1;
  tflite::InterpreterBuilder(*model_stage1, resolver_stage1)(&interpreter_stage1);

TFLITE_MINIMAL_CHECK(interpreter_stage1 != nullptr);

  cv::Mat cvimg = cv::imread(imagefile);
  if(cvimg.data == NULL) {
    printf("=== IMAGE READ ERROR ===\n");
    return 0;
  }

  cv::cvtColor(cvimg, cvimg, CV_BGR2RGB);

  uchar* input_1 = interpreter_stage1->typed_input_tensor<uchar>(0);

 memcpy( ... );

我在为这种 uchar 类型正确设置 memcpy 时遇到问题。

当我这样做时，我在工作期间出现了段错误：

memcpy(input_1, cvimg.data, cvimg.total() * cvimg.elemSize());

在这种情况下我应该如何正确填写输入？

Answer 1

要将我的 cmets 转换为答案： Memcpy 在这里可能不是正确的方法。 OpenCV 将图像保存为每个像素的 RGB 有序（或 BGR 或另一种颜色组合）颜色值的一维数组。可以通过以下方式迭代这些 RGB 块：

for (const auto& rgb : cvimg) {
    // now rgb[0] is the red value, rgb[1] green and rgb[2] blue.
}

将值写入 Tensorflow-Lite typed_input_tensor 应该像这样完成；其中 i 是索引（迭代器），x 是赋值：

interpreter->typed_input_tensor<uchar>(0)[i] = x;

所以循环可能如下所示：

for (size_t i = 0; size_t < cvimg.size(); ++i) {
    const auto& rgb = cvimg[i];
    interpreter->typed_input_tensor<uchar>(0)[3*i + 0] = rgb[0];
    interpreter->typed_input_tensor<uchar>(0)[3*i + 1] = rgb[1];
    interpreter->typed_input_tensor<uchar>(0)[3*i + 2] = rgb[2];
}

Answer 2

至少对于单通道情况，您可以这样做。这假设 opencv 缓冲区是连续的。因此，在这种情况下，张量维度为 (1, x, y, 1)。

float* out = interpreter->typed_tensor<float>(input);
input_type = interpreter->tensor(input)->type;
img.convertTo(img, CV_32F, 255.f/input_std);
cv::subtract(img, cv::Scalar(input_mean/input_std), img);
float* in = img.ptr<float>(0);
memcpy(out, in, img.rows * img.cols * sizeof(float));

OpenCV 版本 - 4.3.0 TF Lite 版本 - 2.0.0

nada 的做法也是正确的。选择适合你的编程风格的，但是 memcpy 版本会相对更快。