使用 OpenVino 进行 C-API 异步批量推理

Question

我正在尝试找到一个使用 C-API（不是 C++）异步批处理接口进行 OpenVino 图像推理的示例。

我可以一次对单个图像进行推理，但我不清楚如何将其扩展为使用 C-API 进行批量推理。

有没有人有这样做的例子或参考？ OpenVino 文档在这方面受到限制，它们也没有提供任何基于 C 的示例，我已经找到了。

编辑：根据下面的评论，阐明挑战在于了解如何使用多个图像加载输入 blob。现有示例要么假设 C++ 接口并使用向量来移动事物，要么不清楚该示例的惯用性（例如使用 C-API 的对象检测示例）

Answer 1

• 您可以使用以下函数：ie_infer_request_infer_async() 和 ie_infer_request_set_batch()。 相关信息可在以下链接中找到： https://docs.openvinotoolkit.org/2020.4/ie_c_api/group__InferRequest.html

• 我建议您参考以下两个基于 C API 的示例：

  Hello 分类 C 样本 https://docs.openvinotoolkit.org/2020.4/openvino_inference_engine_ie_bridges_c_samples_hello_classification_README.html

  Hello NV12 输入分类 C 样本 https://docs.openvinotoolkit.org/2020.4/openvino_inference_engine_ie_bridges_c_samples_hello_nv12_input_classification_README.html

• 将推理引擎集成到您的应用程序的过程的高级描述可在以下页面中找到： https://docs.openvinotoolkit.org/2020.4/openvino_docs_IE_DG_Integrate_with_customer_application_new_API.html