OpenVINO GPU 性能优化答案

【问题标题】：OpenVINO GPU performance optimizationOpenVINO GPU 性能优化
【发布时间】：2020-01-28 16:42:42
【问题描述】：

我正在尝试加快人员计数器应用程序的推理速度，为了使用 GPU，我已按说明设置了推理引擎配置设置：

device_name = "GPU"
ie.SetConfig({ {PluginConfigParams::KEY_CONFIG_FILE, "./cldnn_global_custom_kernels/cldnn_global_custom_kernels.xml"} }, device_name);

并在推理引擎上加载网络我已经设置了目标设备，如下所述：

CNNNetwork net = netReader.getNetwork();

TargetDevice t_device = InferenceEngine::TargetDevice::eGPU; 

network.setTargetDevice(t_device);

const std::map<std::string, std::string> dyn_config = { { PluginConfigParams::KEY_DYN_BATCH_ENABLED, PluginConfigParams::YES } };

ie_.LoadNetwork(network,device_name, dyn_config);

但推理引擎尚未使用 CPU，这会减慢推理时间。有没有办法以最大功率使用英特尔 GPU 在特定网络上进行推理？我正在使用 person-detection-retail-0013 模型。

谢谢。

【问题讨论】：

标签： c++ computer-vision inference openvino

【解决方案1】：

您是指 person-detection-retail-0013 吗？因为我在 open_model_zoo repo 中没有找到 walker-detection-retail-013。

您可能会在使用 GPU 时看到速度变慢。您测试的网络具有以下层作为网络拓扑的一部分：PriorBox、DetectionOutput。正如文档所述，这些层在 CPU 上执行：https://docs.openvinotoolkit.org/latest/_docs_IE_DG_supported_plugins_CL_DNN.html 我猜这可能是减速的原因。

但为了 100% 确定，我建议运行 benchmark_app 工具来对模型进行基准测试。该工具可以打印有关每一层的详细性能信息。它应该有助于阐明经济放缓的真正根本原因是什么。有关 benchmark_app 的更多信息可以在这里找到：https://docs.openvinotoolkit.org/latest/_inference_engine_samples_benchmark_app_README.html

PS：只是关于 IE API 使用的一条建议。 network.setTargetDevice(t_device); - setTargetDevice 是一个已弃用的方法。使用LoadNetwork 设置设备就足够了，就像在您的示例中一样：ie_.LoadNetwork(network,device_name, dyn_config);

希望它会有所帮助。

【讨论】：

谢谢。现在我已经更清楚地了解了如何提高 intel cpu 和 gpu 的推理性能。