带有 TensorRT 的 C++ Tensorflow API

Question

我的目标是在 C++ 应用程序中运行 tensorrt 优化的 tensorflow 图。我正在使用 tensorflow 1.8 和 tensorrt 4。使用 python api，我能够优化图形并看到很好的性能提升。

尝试在 c++ 中运行图表失败并出现以下错误：

Not found: Op type not registered 'TRTEngineOp' in binary running on e15ff5301262. Make sure the Op and Kernel are registered in the binary running in this process.

其他非张量图也可以。我对 python api 有类似的错误，但通过导入 tensorflow.contrib.tensorrt 解决了它。从错误中我相当确定内核和操作没有注册，但我不知道如何在构建 tensorflow 后在应用程序中这样做。附带说明一下，我不能使用 bazel，但需要使用 cmake。到目前为止，我链接到 libtensorflow_cc.so 和 libtensorflow_framework.so。

有人可以帮我吗？谢谢！

更新： 使用c或者c++ api加载_trt_engine_op.so在加载的时候不会报错，但是运行失败了

Invalid argument: No OpKernel was registered to support Op 'TRTEngineOp' with these attrs.  Registered devices: [CPU,GPU], Registered kernels:
  <no registered kernels>

     [[Node: my_trt_op3 = TRTEngineOp[InT=[DT_FLOAT, DT_FLOAT], OutT=[DT_FLOAT, DT_FLOAT, DT_FLOAT, DT_FLOAT], input_nodes=["tower_0/down_0/conv_0/Conv2D-0-TransposeNHWCToNCHW-LayoutOptimizer", "tower_0/down_0/conv_skip/Conv2D-0-TransposeNHWCToNCHW-LayoutOptimizer"], output_nodes=["tower_0/down_0/conv_skip/Relu", "tower_0/down_1/conv_skip/Relu", "tower_0/down_2/conv_skip/Relu", "tower_0/down_3/conv_skip/Relu"], serialized_engine="\220{I\000...00\000\000"](tower_0/down_0/conv_0/Conv2D-0-TransposeNHWCToNCHW-LayoutOptimizer, tower_0/down_0/conv_skip/Conv2D-0-TransposeNHWCToNCHW-LayoutOptimizer)]]

Answer 1

解决Tensorflow 1.8上出现“未找到：操作类型未注册'TRTEngineOp'”错误问题的另一种方法：

1) 在文件tensorflow/contrib/tensorrt/BUILD 中，添加具有以下内容的新部分：

cc_library(
name = "trt_engine_op_kernel_cc",
srcs = [
    "kernels/trt_calib_op.cc",
    "kernels/trt_engine_op.cc",
    "ops/trt_calib_op.cc",
    "ops/trt_engine_op.cc",
    "shape_fn/trt_shfn.cc",
],
hdrs = [
    "kernels/trt_calib_op.h",
    "kernels/trt_engine_op.h",
    "shape_fn/trt_shfn.h",
],
copts = tf_copts(),
visibility = ["//visibility:public"],
deps = [
    ":trt_logging",
    ":trt_plugins",
    ":trt_resources",
    "//tensorflow/core:gpu_headers_lib",
    "//tensorflow/core:lib_proto_parsing",
    "//tensorflow/core:stream_executor_headers_lib",
] + if_tensorrt([
    "@local_config_tensorrt//:nv_infer",
]) + tf_custom_op_library_additional_deps(),
alwayslink = 1,  # buildozer: disable=alwayslink-with-hdrs
)

2) 将//tensorflow/contrib/tensorrt:trt_engine_op_kernel_cc作为依赖添加到您要构建的相应BAZEL项目中

PS：无需使用 TF_LoadLibrary 加载库_trt_engine_op.so

Answer 2

这是我对这个问题（Tensorflow 1.8.0、TensorRT 3.0.4）的发现（以及某种解决方案）：

我想将 tensorrt 支持包含到一个库中，该库从给定的 *.pb 文件加载图表。

仅将//tensorflow/contrib/tensorrt:trt_engine_op_kernel 添加到我的 Bazel BUILD 文件对我来说没有任何作用。我仍然收到一条消息，指出未注册的 Ops：

2018-05-21 12:22:07.286665: E tensorflow/core/framework/op_kernel.cc:1242] OpKernel ('op: "TRTCalibOp" device_type: "GPU"') for unknown op: TRTCalibOp
2018-05-21 12:22:07.286856: E tensorflow/core/framework/op_kernel.cc:1242] OpKernel ('op: "TRTEngineOp" device_type: "GPU"') for unknown op: TRTEngineOp
2018-05-21 12:22:07.296024: E tensorflow/examples/tf_inference_lib/cTfInference.cpp:56] Not found: Op type not registered 'TRTEngineOp' in binary running on ***. 
Make sure the Op and Kernel are registered in the binary running in this process.

解决方案是，我必须使用 C_API 在我的 C++ 代码中加载 Ops 库 (tf_custom_op_library)：

#include "tensorflow/c/c_api.h"
...
TF_Status status = TF_NewStatus();
TF_LoadLibrary("_trt_engine_op.so", status);

共享对象_trt_engine_op.so是为bazel目标//tensorflow/contrib/tensorrt:python/ops/_trt_engine_op.so创建的：

bazel build --config=opt --config=cuda --config=monolithic \
     //tensorflow/contrib/tensorrt:python/ops/_trt_engine_op.so

现在我只需要确保 _trt_engine_op.so 在需要时可用，例如LD_LIBRARY_PATH.

如果有人有想法，如何以更优雅的方式做到这一点（为什么我们有 2 个必须构建的人工制品？我们不能只有一个吗？），我很高兴每一个建议。

tldr

1. 将//tensorflow/contrib/tensorrt:trt_engine_op_kernel添加为您要构建的相应BAZEL项目的依赖项

2. 使用 C-API 在您的代码中加载 ops-library _trt_engine_op.so。

Answer 3

对于 Tensorflow r1.8，下面显示在两个 BUILD 文件中的添加和使用单体选项构建 libtensorflow_cc.so 对我有用。

diff --git a/tensorflow/BUILD b/tensorflow/BUILD
index cfafffd..fb8eb31 100644
--- a/tensorflow/BUILD
+++ b/tensorflow/BUILD
@@ -525,6 +525,8 @@ tf_cc_shared_object(
         "//tensorflow/cc:scope",
         "//tensorflow/cc/profiler",
         "//tensorflow/core:tensorflow",
+        "//tensorflow/contrib/tensorrt:trt_conversion",
+        "//tensorflow/contrib/tensorrt:trt_engine_op_kernel",
     ],
 )

diff --git a/tensorflow/contrib/tensorrt/BUILD b/tensorflow/contrib/tensorrt/BUILD
index fd3582e..a6566b9 100644
--- a/tensorflow/contrib/tensorrt/BUILD
+++ b/tensorflow/contrib/tensorrt/BUILD
@@ -76,6 +76,8 @@ cc_library(
     srcs = [
         "kernels/trt_calib_op.cc",
         "kernels/trt_engine_op.cc",
+        "ops/trt_calib_op.cc",
+        "ops/trt_engine_op.cc",
     ],
     hdrs = [
         "kernels/trt_calib_op.h",
@@ -86,6 +88,7 @@ cc_library(
     deps = [
         ":trt_logging",
         ":trt_resources",
+        ":trt_shape_function",
         "//tensorflow/core:gpu_headers_lib",
         "//tensorflow/core:lib_proto_parsing",
         "//tensorflow/core:stream_executor_headers_lib",

Answer 4

正如您所提到的，当您将 //tensorflow/contrib/tensorrt:trt_engine_op_kernel 添加到依赖项列表时，它应该可以工作。目前 Tensorflow-TensorRT 集成仍在进行中，可能仅适用于 python API；对于 C++，您需要从 tensorflow/contrib/tensorrt/convert/convert_graph.h 调用 ConvertGraphDefToTensorRT() 进行转换。

如果您有任何问题，请告诉我。

Answer 5

解决方案：添加导入

从 tensorflow.python.compiler.tensorrt 导入 trt_convert as trt

链接讨论：https://github.com/tensorflow/tensorflow/issues/26525

Answer 6

这是我的解决方案，tensorflow 是 1.14。 在您的 BUILD 文件中，exp，tensorflow/examples/your_workspace/BUILD：

在tf_cc_binary:

scrs= [...,"//tensorflow/compiler/tf2tensorrt:ops/trt_engine_op.cc"]
deps=[...,"//tensorflow/compiler/tf2tensorrt:trt_op_kernels"]