GPU 上的 WinML 推理时间比 Tensorflow python 慢 3 倍

Question

我尝试在 WinML 中使用在 python 上训练的 tensorflow 模型。我成功地将 protobuf 转换为 onnx。 得到以下性能结果：

• WinML 43s
• OnnxRuntime 10 秒
• Tensorflow 12s

对 CPU 的推断大约需要 86 秒。

在性能工具上，与其他工具相比，WinML 似乎没有正确使用 GPU。 似乎 WinML 使用 DirectML 作为后端（我们在 Nvidia GPU 分析器上观察 DML 前缀）。 是否可以将 Cuda 推理引擎与 WinML 一起使用？ 有没有人观察到类似的结果，WinML 在 GPU 上异常缓慢？

Answer 1

我得到了一些关于这个 WinML 性能的答案。 我的网络使用了仅在 Windows 2004 中受 DirectML 支持的 LeakyRelu。 在 Windows 以前的版本中，此问题禁用 DirectML Metacommand 的使用，因此性能不佳。 在新的 windows 版本中，我在 WinML 上获得了良好的性能。